Ein Forscherteam hat ein neuartiges Visual‑Analytics‑Verfahren vorgestellt, das fehlende Werte in Datensätzen systematisch aufdeckt und strukturiert. Das Verfahren kombiniert neu entwickelte Reinheitsmetriken für drei zentrale Fehlermuster – Block, Monoton und Disjunkt – mit einer Reihe von sieben Visualisierungen, die in einem iterativen Arbeitsablauf eingesetzt werden.
Methodische Grundlagen
Die Reinheitsmetriken quantifizieren, inwieweit ein identifiziertes Muster den definierten Kernstrukturen entspricht. Durch die wiederholte Anwendung dieser Metriken können Anwender zwischen übergeordneten und feinen Fehlermustern unterscheiden. Ergänzend dazu sorgen die Visualisierungen – darunter Heatmaps, Balkendiagramme mit diskontinuierlicher Skalierung und Erklärungsgraphen – für eine intuitive Darstellung selbst kleinster Werte.
Erste Fallstudie: UCI‑Datensatz
Im Rahmen einer Fallstudie wurde ein Datensatz aus dem UCI Machine Learning Repository analysiert. Die Reinheitsmetriken und Heatmaps deckten ein seltenes Datenqualitätsproblem auf, das 0,08 % der Datensätze betraf und von einer bestehenden korrelationsbasierten Methode nicht erkannt worden war. Zudem zeigte die diskontinuierliche Balkendarstellung, dass zwei Variablen in 0,02 % bzw. 0,3 % der Fälle fehlende Werte aufwiesen – entgegen der Angabe im Originalpapier.
Zweite Fallstudie: Krankenhausdatensatz
Ein weiterer Test erfolgte mit einem umfangreichen Krankenhausdatensatz von 21 Millionen Datensätzen und 389 Variablen. Anfangs wurden 595 171 unterschiedliche Kombinationen fehlender Werte identifiziert. Durch iterative Anwendung der Reinheitsmetriken und Heatmaps ließ sich die Anzahl auf 57 nachvollziehbare Muster reduzieren. Diese Reduktion ermöglichte die Identifikation seltener und häufiger Datenqualitätsprobleme, das Aufdecken von Fehlern im Datenwörterbuch und die Sichtbarmachung verborgener Beziehungen zwischen Variablengruppen.
Erklärungsgraph und Reproduzierbarkeit
Ein zentrales Element der Methode ist der Erklärungsgraph, der die Reihenfolge der entdeckten Muster dokumentiert. Dieser Graph dient als nachvollziehbares Artefakt, das die Kommunikation der Ergebnisse gegenüber Entscheidungsträgern unterstützt und die Reproduzierbarkeit der Analyse sicherstellt.
Bedeutung für die Praxis
Die vorgestellte Methode bietet Forschern und Analysten ein strukturiertes Werkzeug, um fehlende Werte gezielt zu untersuchen und Fehlinterpretationen zu vermeiden. Durch die Kombination quantitativer Metriken und intuitiver Visualisierungen können sowohl kleine als auch komplexe Fehlermuster effizient erkannt und adressiert werden.
Dieser Bericht basiert auf Informationen von PLOS ONE, lizenziert unter Creative Commons BY 4.0 (Open Access).
Ende der Uebertragung