GPT‑Modelle zeigen differenzierte Fokusverarbeitung bei Ellipsen

Hintergrund und Zielsetzung

Eine aktuelle Studie von Wonil Chung und Keonwoo Koo analysierte, wie GPT‑artige Sprachmodelle Fokusinformationen bei der Auflösung elliptischer Remnant‑Konstruktionen verarbeiten. Ziel war es, den Einfluss von Diskurs‑ und Lexikal‑fokus‑Hinweisen zu prüfen.

Methodik

Die Autoren variierten den Diskursfokus durch vorangehende Interrogativpronomen (who vs. what) und den Lexikal‑fokus durch das Partikel only, das sowohl vor dem indirekten als auch vor dem direkten Objekt positioniert wurde. Drei Experimente wurden mit den Modellen GPT‑2 (Small bis XL) und GPT‑Neo durchgeführt, wobei Wort‑für‑Wort‑Surprisal als Maß für Verarbeitungsaufwand diente.

Ergebnis von Experiment 1

Im ersten Durchlauf, in dem das Partikel only nicht vorkam, verfolgten die Modelle den durch das Interrogativ induzierten Diskursfokus zuverlässig und lieferten höhere Surprisal‑Werte für Remnants, die nicht mit dem kontextuell fokussierten Argument übereinstimmten.

Ergebnis von Experiment 2

Im zweiten Durchlauf stand only vor dem indirekten Objekt. Trotz dieses zusätzlichen lexikalischen Hinweises blieb der Diskursfokus dominant, was darauf hindeutet, dass die Modelle die diskursiven Informationen beibehalten, selbst wenn ein konkurrierender Lexikal‑fokus vorhanden ist.

Ergebnis von Experiment 3

Im dritten Durchlauf wurde only vor dem direkten Objekt platziert. Hier verstärkten sich die Effekte des Lexikal‑fokus: Die Modelle bevorzugten Remnants, die mit dem durch only markierten direkten Objekt übereinstimmten, was einer lokalisationsbasierten Gewichtung von Hinweisen entspricht.

Vergleich mit menschlichen Daten

Im Vergleich zu Reaktionszeitdaten von menschlichen Teilnehmern zeigten die Modelle eine ähnliche Empfindlichkeit gegenüber dem Diskursfokus, wichen jedoch ab, wenn beide Hinweisquellen im Konflikt standen. Die Modelle wiesen eine stärkere Präferenz für die Alignment‑Kondition mit only auf als die menschlichen Probanden.

Schlussfolgerungen

Die Befunde legen nahe, dass die getesteten GPT‑Modelle sowohl diskursuelle Fokusrepräsentationen aufrechterhalten als auch mehrere Fokus‑Hinweise in einer abstands‑sensitiven Weise integrieren. Damit wird einerseits die Übereinstimmung mit menschlicher Verarbeitung bestätigt, andererseits aber auch die Grenzen der Modell‑Alignment deutlich.Dieser Bericht basiert auf Informationen von PLOS ONE, lizenziert unter Creative Commons BY 4.0 (Open Access). Wissenschaftliche Inhalte, offen zugänglich.