Eine retrospektive Beobachtungsstudie untersuchte die Leistungsfähigkeit von drei modernen großen Sprachmodellen – ChatGPT‑4o, Gemini 2.0 und Claude 3.5 – bei der Identifikation suprakondylärer Humerusfrakturen und deren Klassifikation nach dem Gartland‑System bei Kindern im Alter von zwei bis zehn Jahren.
Studiendesign und Datengrundlage
Insgesamt 300 Kinder, davon 150 mit durch Expertenkonsens bestätigten Frakturen und 150 ohne Fraktur, wurden im Zeitraum Oktober 2022 bis Januar 2025 in der Notaufnahme des Bilkent City Hospital untersucht. Für jeden Patienten wurden zweifache Ellenbogen‑Röntgenaufnahmen erstellt und dreimal an jedes Sprachmodell an unterschiedlichen Tagen übermittelt.
Bewertungsmetriken
Die diagnostische Genauigkeit wurde anhand von Gesamtgenauigkeit (alle drei Antworten korrekt), strenger Genauigkeit (mindestens zwei korrekte Antworten) und idealer Genauigkeit (mindestens eine korrekte Antwort) gemessen. Die Konsistenz der Antworten wurde mit dem Fleiss‑Kappa‑Koeffizienten beurteilt. Zusätzlich erfolgte eine Klassifikation der Frakturen nach modifiziertem Gartland‑Schema.
Ergebnisse bei Frakturenerkennung
Gemini 2.0 erreichte die höchste Sensitivität von 68,4 %, gefolgt von Claude 3.5 mit 58,7 % und ChatGPT‑4o mit 19,3 % (p < 0,001). Ideale Genauigkeitsraten lagen bei 83,3 % für Gemini 2.0, 78,7 % für Claude 3.5 und 27,3 % für ChatGPT‑4o. In Fällen ohne Fraktur überschritt die ideale Genauigkeit 91 %, jedoch blieb die Spezifität niedrig zwischen 33,1 % und 36,0 %.
Antwortkonsistenz
Die Konsistenz der Modelle wurde als sehr gut für ChatGPT‑4o (κ = 0,69) und Gemini 2.0 (κ = 0,61) sowie gut für Claude 3.5 (κ = 0,44) bewertet.
Gartland‑Klassifikation
Bei der Klassifikation nach dem Gartland‑System erzielte Gemini 2.0 die höchsten Raten: Typ I 83,3 %, Typ II 62,4 % und Typ III 68,7 %.
Schlussfolgerungen
Die Untersuchung zeigt, dass aktuelle große Sprachmodelle nur begrenzte Fähigkeiten als eigenständige Diagnoseinstrumente für suprakondyläre Humerusfrakturen im Kindesalter besitzen. Die Sensitivität von Gemini 2.0 von 68,4 % unterstreicht den Bedarf an spezialisierter pädiatrischer Schulung, bevor ein klinischer Einsatz erwogen wird. Dennoch könnten die Modelle als unterstützende Hilfsmittel für die Triage und Vorbewertung weiterentwickelt werden.
Dieser Bericht basiert auf Informationen von PLOS ONE, lizenziert unter Creative Commons BY 4.0 (Open Access). Wissenschaftliche Inhalte, offen zugänglich.
Ende der Uebertragung