8 Qualitätssicherung und Evaluation
Dieses Kapitel beschreibt das Vorgehen zur Sicherung der Konsistenz und Qualität der Datenaufbereitung.
8.1 Erarbeitung und Präzisierung der Richtlinien
Die Richtlinien für Segmentierung und Annotation wurden auf Grundlage theoretischer Vorarbeiten und bestehender Manuals erarbeitet und für die spezifischen Anforderungen des Korpus iterativ angepasst. Ein zentraler Bestandteil dieses Prozesses war der fortlaufende datennahe Austausch im Team: Annotationsentscheidungen wurden anhand konkreter Beispiele diskutiert, um Unklarheiten zu identifizieren, die Richtlinien zu präzisieren und notwendige Anpassungen vorzunehmen.
8.2 Vier-Augen-Prinzip
Im Prozess der Datenaufbereitung wurde, soweit möglich, nach dem Vier-Augen-Prinzip gearbeitet. Neben dem Austausch zu Problemfällen und der Diskussion eines Konsens wurde der Arbeitsprozess so strukturiert, dass zwischen zentralen Arbeitsschritten ein Wechsel der Bearbeiter:in erfolgte. So wurden die Transkriptionen bei der folgenden Segmentierung zusätzlich überprüft und Zweifelsfälle ggf. besprochen. Ebenso wurden die Segmentierungen zusammen mit den automatischen Annotationen während der manuellen Annotation geprüft und korrigiert.
8.3 Inter-Annotator-Agreements
Zusätzlich führten wir zu zwei Zeitpunkten eine Evaluation der Annotationen anhand der Berechnung eines Inter-Annotator-Agreements (IAA) durch.1
Zunächst erfolgte dies während der Datenaufbereitung von SeiKo1 mit einem Sample von 21 % der bis zu diesem Zeitpunkt vorliegenden Daten. Für die doppelt und unabhängig annotierten Stichprobendaten wurde ein IAA berechnet, das die hierarchischen Abhängigkeiten in mehrschichtigen Annotationsebenen als Baumstrukturen interpretiert und mit einem dafür geeigneten Maß vergleicht (vgl. Skjærholt, 2013).
Hierbei konnte für Krippendorff’s alpha (Krippendorff, 1970) ein Wert von .73 für alle Verbstellungsstrukturen berechnet werden, für die Verbstellungsstrukturen eingebetteter AS-units ein Wert von .43. Für die Nominalgruppen (NGr) ergab sich ein ähnliches Bild: NGr auf erster Ebene, also solche, die nicht selbst in andere Nominalgruppen eingebettet sind, ergaben einen Wert von 0.86, während abhängige NGr lediglich bei .43 lagen.
Die Sichtung inkonsistenter Annotationen und ihre gemeinsame Diskussion dienten dazu, die Richtlinien zu präzisieren und die Übereinstimmung bei späteren Annotationen zu erhöhen. Nach Abschluss dieses iterativen Prozesses wurden die finalen Richtlinien auf alle Daten angewendet.
Nach abgeschlossener Annotation von SeiKo1 wurde ein über die Schüler:innen, Erhebungszeitpunkte und Textteile balanciertes Zufallssample aus ca. 21 % der Daten (20,9 % der [pos]-Token, 20,6 % [unit]-Token, 20,7 % [stage]-Token, 20,6 % [ngr]-Token) gezogen und unabhängig von zwei Annotator:innen annotiert. Das bedeutet, dass insgesamt 1488 verbhaltige Äußerungen und 1248 Nominalgruppen doppelt annotiert wurden und auf dieser Grundlage erneut ein IAA berechnet wurde.
Zur Bestimmung des Inter-Annotator-Agreements wurde für die hierarchisch strukturierten Ebenen ([ngr], [unit_cons], [subclause_cons]) Krippendorffs alpha auf Basis von Tree-Edit-Distance bestimmt Pawlik & Augsten (2012). Die Ergebnisse finden sich in Tabelle 8.1.
| Annotationsebene | α (alle Token) | α (nur annotierte Token) |
|---|---|---|
| Nominalgruppen | 0.87 | 0.89 |
| Konstituenten unit | 0.90 | 0.89 |
| Konstituenten subclause | 0.90 | 0.94 |
Die Berechnung des IAA der [stage]-Annotationen war nicht darauf angewiesen, ihre hierarchische Struktur zu berücksichtigen, da Spannen und Struktur dieser Annotationen bereits durch den vorigen Annotationsschritt, die Segmentierung, für beide Annotator:innen gleichermaßen vorgegeben waren. Das IAA für diese Strukturen betrug 0.9 für Annotationen auf einer [unit]-Ebene bzw. 0.93 auf einer [subclause]-Ebene.
Die aus dem IAA entstandene Übersicht über doppelt annotierte Strukturen wurde außerdem genutzt, um systematische Unterschiede zu identifizieren, Unschärfen erneut zu besprechen und zu glätten, und gemeinsam beschlossene Korrekturen in den Daten vorzunehmen.
Auf Basis dieser Ergebnisse und unter Beibehaltung des Vier-Augen-Prinzips wurden anschließend die Daten aus SeiKo2 annotiert.
Für Beratung zu und Berechnung der Inter-Annotator-Agreements bedanken wir uns herzlich bei Martin Klotz!↩︎