Eine aktuelle Studie untersucht, wie Codebooks – ursprünglich für menschliche Annotatoren entwickelt – als Prompt‑Instruktionen für große Sprachmodelle (LLM) eingesetzt werden können. Die Untersuchung zeigt, dass die Nutzung von Codebooks zu einer Übereinstimmung von 82 % bis 88 % mit menschlichen Annotatoren führt, wobei verschiedene Aufgaben und Modelltypen berücksichtigt wurden.
Hintergrund und Zielsetzung
Nach Angaben des Artikels von Can Çelebi und Stefan P. Penczynski wurden drei Codebooks aus der experimentellen Ökonomie herangezogen: eines zur Klassifikation von Versprechen und zwei zur Klassifikation strategischen Denkens. Ziel war es, zu prüfen, inwieweit die Informationsmenge, Formatierung, Framing und Wortwahl der Prompt‑Instruktionen die Leistungsfähigkeit von LLMs beeinflussen.
Methodik
Die Forschenden variierten das Informationsniveau der Prompt‑Instruktionen (niedrig bis hoch) und kombinierten diese mit unterschiedlichen Formatierungen, Framings und Formulierungen. Vier Modelle kamen zum Einsatz: zwei proprietäre und zwei Open‑Weight‑Modelle. Die drei Aufgaben umfassten die Erkennung von Versprechen (recognition‑heavy) sowie zwei Aufgaben zur Klassifikation strategischen Denkens (learning‑heavy).
Ergebnisse
Die Codebooks erzielten in allen drei Aufgaben eine Übereinstimmung von 82 % bis 88 % mit menschlichen Annotatoren. Bei der Versprechen‑Klassifikation erklärte die Wahl des Modells den größten Teil der Genauigkeitsvariation. Bei den strategischen Denkaufgaben hatte das Detailniveau der Instruktionen einen vergleichbaren Einfluss wie die Modellwahl.
Einfluss von Modellgröße
Größere Modelle nutzten zusätzliche Informationen effizienter und zeigten höhere Robustheit gegenüber Änderungen in Formatierung, Framing und Wortwahl. Kleinere Modelle hingegen konnten durch zusätzliche Informationen beeinträchtigt werden und reagierten sensibler auf die Art der Präsentation.
Implikationen für Prompt‑Design
Die Ergebnisse legen nahe, dass der Fokus von reinen Prompt‑Engineering‑Techniken (z. B. Formatierung, Framing, Reasoning) auf den Inhalt der Prompt‑Instruktionen verlagert werden sollte. Die Vorbereitung von Anweisungen analog zu menschlichen Codebooks – mit detailliertem Kontext, klaren Kategoriedefinitionen und Beispielen – erhöht die Leistungsfähigkeit von LLMs.
Fazit
Die Studie demonstriert, dass gut strukturierte Codebooks als Prompt‑Instruktionen die Übereinstimmung von Sprachmodellen mit menschlichen Annotatoren signifikant steigern. Zukünftige Forschungen könnten die Übertragbarkeit auf weitere Aufgabenbereiche und Modellarchitekturen prüfen.
Dieser Bericht basiert auf Informationen von PLOS ONE, lizenziert unter Creative Commons BY 4.0 (Open Access). Wissenschaftliche Inhalte, offen zugänglich.
[Lizenzangabe]: ‚Creative Commons BY 4.0 (Open Access)‘
[Zusatz]: ‚ Wissenschaftliche Inhalte, offen zugänglich.‘
Ende der Uebertragung