| Tag | Definition | Lemmatisierung | Beispiellemma |
|---|---|---|---|
| PDAT | Attribuierendes Demonstrativpronomen | Nominativ Singular Femininum | diese |
| PDS | Substituierendes Demonstrativpronomen | Nominativ Singular Femininum | die |
| PIAT | Attribuierendes Indefinitpronomen | Nominativ Singular / Plural Femininum / Oberflächenform | andere, irgendwelche, etwas |
| PIS | Substituierendes Indefinitpronomen ohne Determinierer | Nominativ Singular / Plural Femininum / Oberflächenform | eine, alle, etwas |
| PIDAT | Attribuierendes Indefinitpronomen mit Determinierer | Nominativ Singular Femininum | eine |
| PIDS | Substituierendes Indefinitpronomen mit Determinierer | Nominativ Singular Femininum / Plural / Oberflächenform | andere, beide, bisschen |
| PPER | Irreflexibles Personalpronomen | Nominativ Singular | Oberflächenform: er > er, ihnen > sie, ihm > er … |
| PPOSAT | Attribuierendes Possessivpronomen | Nominativ Singular Femininum | ihre, seine |
| PPOSS | Substituierendes Possessivpronomen | Nominativ Singular Femininum | meine, deine |
| PRELAT | Attribuierendes Relativpronomen | Nominativ Singular Femininum | deren |
| PRELS | Substituierendes Relativpronomen | Nominativ Singular Femininum | die |
| PRF | Reflexives Personalpronomen | sich | sich |
| PWAT | Attribuierendes Interrogativpronomen | Nominativ Singular Femininum | welche, wessen |
| PWS | Substituierendes Interrogativpronomen | Oberflächenform | wer, was |
| PWAV | Adverbiales Interrogativ- oder Reflexivpronomen | Oberflächenform | warum, wo |
5 Lemmatisierung und POS-Tagging
5.1 Spuren bei Lemmatisierung und POS-Tagging
Diesen Annotationsschritten sind die folgenden Spuren mit einem neuen Sprecher PART_CLEAN zugeordnet:
| [lemma] | Spur mit den durch den TreeTagger erzeugten und manuell korrigierten Lemmata |
| [pos] | Spur mit den durch den TreeTagger erzeugten und manuell korrigierten POS-Tags |
5.2 Automatisierte Arbeitsschritte
Zunächst wurde über ein Skript geprüft, ob die Dateien verarbeitungsrelevante Fehler enthalten, die dann ggf. ausgebessert wurden.
Dann wurde die Spur [ctok_part] erstellt, die eine um Pausenzeichen und auf [excl] als auszuschließend markiertes Material bereinigte Kopie von [tok_part] umfasst.
Die Token auf [ctok_part] wurden anschließend mit Hilfe des TreeTagger Schmid (1995) (unter Einbezug der Satzspannen aus [unit]) anhand des STTS 2.0 (Westpfahl et al., 2017) mit einem POS-Tagging und einer Lemmatisierung versehen. Die automatisierte Annotation erfolgte über verschiedene Skripte mit Hilfe von Annatto1 (vgl. Krause & Klotz, 2023).
5.3 Korrektur
Das POS-Tagging und die Lemmatisierung wurden auf den Spuren [lemma] und [pos], Kopien der automatisiert generierten Spuren, korrigiert. Die automatisiert generierten Spuren wurden anschließend gelöscht, können aber mithilfe der öffentlich zugänglichen Pipeline2 reproduziert und somit für die Evaluation des Treetaggers für frühe Lerner:innendaten verwendet werden.
Tags wurden in Zweifelsfällen, wenn möglich, (auch) anhand funktionaler Kriterien korrigiert, bspw. in Bezug auf Verbformen (so kann z.B. “gib” als VVFIN anstatt als VVIMP getagged werden, wenn der Kontext diese Interpretation nahelegt).
Zweifelsfälle bei der Korrektur wurden im Vier-Augen-Prinzip besprochen; offensichtliche Versehen, die bei der Transkription oder Segmentierung entstanden sind, sowie Fehler durch die Pipeline wurden in diesem manuellen Korrekturschritt, sofern sie offensichtlich als Fehler zu erkennen sind (wenn etwa auf [excl] Markiertes nicht durch die Pipeline gelöscht wurde oder wenn offensichtlich zu exkludierendes Material nicht auf [excl] markiert oder offensichtlich ein falsches Annotationstag vergeben wurde), eigenständig und ohne weitere Besprechung korrigiert.
5.4 Lemmatisierung
Die Lemmatisierung orientiert sich grundlegend an den Richtlinien für das TIGER-Korpus (vgl. Proisl et al., 2019). Davon abweichendes Vorgehen ist in den folgenden Richtlinien jeweils als solches gekennzeichnet.
5.4.1 Normalisierung der Wortformen
Umgangssprachliche Wortformen wurden möglichst oberflächennah normalisiert, in schriftlichen Texten wurden orthographische Fehler korrigiert, Wortneuschöpfungen wurden normalisiert, aber nicht korrigiert (vgl. Proisl et al., 2019: 2).
Abkürzungen wurden, anders als bei den TIGER-Richtlinien (ebd.) nicht normalisiert. Kontraktionen wurden aufgelöst (ums -> um es, son -> so ein, machste -> machst du) und in einem Event einzeln und mit Leerzeichen zwischen den beiden Token lemmatisiert. Dieses Vorgehen unterscheidet sich ebenfalls von Proisl et al. (2019), die keine Auflösung von Kontraktionen vorgeben.
Wenn in der Transkription schriftlicher Daten Wörter zusammengeschrieben wurden, die zielsprachlich nicht zusammengeschrieben werden (bspw. ausversehen), wurden diese im gleichen Event durch Leerzeichen getrennt lemmatisiert (hierfür sehen Proisl et al., 2019 keine Regelung vor). Wenn Wörter auseinandergeschrieben wurden, die zielsprachlich zusammengeschrieben werden (bus fahr Karte, E10_B09_T), wurden diese auf der Lemma- und POS-Spur in jeweils einem Event zusammengeführt.
Wenn Fehler in der Transkription sichtbar wurden (bspw. verliern statt verlieren), wurden diese im Transkript und auf allen Spuren korrigiert. (Bei der Auswertung des automatischen Taggings/Lemmatisierens muss dementsprechend erwähnt werden, dass manche Token ggf. aufgrund von Transkriptionsfehlern nicht richtig getagged/lemmatisiert werden konnten.)
Wenn Wörter wegen einer wortinternen Pause in zwei Events aufgeteilt wurden, wurden die entsprechenden Events auf [pos] und [lemma] zusammengeführt und es wurde jeweils ein Tag pro Spur vergeben. Bei zwei möglichen Alternativen wurden beide, jeweils gefolgt von einem or, im gleichen Event lemmatisiert (z.B. kontroll > KontrolleurorKontrolleor). (Dieses Vorgehen orientiert sich an dem im STTS 2.0 für die Markierung möglicher Alternativen vorgesehenen Fragezeichen, das allerdings technische Schwierigkeiten bereitete und daher durch das or ersetzt wurde.) In geschriebenen Texten, in denen Wörter (nur) aufgrund graphematischer Interpretation und/oder unter Rückgriff auf den Bildstimulus und die mündlichen Daten zu rekonstruieren sind, werden die entsprechenden Rekonstruktionen lemmatisiert.
5.4.2 Substantive
NN: Substantive wurden in der 1. Person Singular Nominativ lemmatisiert. Ausnahmen bilden Pluraliatantum, die im Nominativ Plural lemmatisiert wurden. Substantivierte Formen wurden entsprechend ihrer Basiswortart lemmatisiert; substantivierte Infinitive dementsprechend als verbaler Infinitiv (das Lesen > lesen). Derivationen aus Formen des Partizip I (die Überzeugende > überzeugen) und Partizip II (der Überzeugte > überzeugen) wurden in ihrer verbalen Grundform lemmatisiert, was sich vom Vorgehen bei Proisl et al. (2019) unterscheidet. Unserem Vorgehen nach wurden bei der Suche nach überzeugen auf [lemma] demnach alle Treffer angezeigt, die sich aus dem Lemma oder Derivationen davon ergeben; eine weitere Differenzierung nach Wortarten ist über [pos] möglich. Aus Adjektiven abgeleitete Substantive wurden in ihrer prädikativen Grundform lemmatisiert, bspw. die Schöne also als schön [und nicht, wie bei Proisl et al. (2019): 4, in der schwachen Form des Nominativs Singular Maskulin]. Grammatikalisierte Substantivierungen werden als Substantive lemmatisiert, was so in den TIGER-Richtlinien nicht ausdifferenziert wird.
NE: Eigennamen werden im Nominativ Singular lemmatisiert; Eigennamen ohne Singularform werden im Nominativ Plural lemmatisiert.
5.4.3 Adjektive
Adjektive werden in ihrer unflektierten Form im Positiv der prädikativen Form lemmatisiert. Falls es diese Form nicht gibt, wird die starke Form des Nominativs Singular Femininum (im Gegensatz zu Maskulinum bei Proisl et al., 2019: 5) lemmatisiert. Attributiv verwendete Partizipien wurden in ihrem verbalen Infinitiv lemmatisiert (die überzeugte Wählerin > überzeugen), was sich vom TIGER-Vorgehen unterscheidet (vgl. ebd.) und eine umfassende Lemmasuche, bei Bedarf mit Differenzierung der Wortart über [pos], erlaubt (s. auch Kapitel 5.4.2).
5.4.4 Zahlen
Zahlen werden in ihrer Grundform lemmatisiert.
5.4.5 Verben
Verben wurden im Infinitiv lemmatisiert. Kontrahierte Verben wie schreibste wurden im Infinitiv lemmatisiert. Der zweite Bestandteil der Kontraktion (Pronomen) wurde entsprechend der entsprechenden Regeln im gleichen Event mit Leerzeichen getrennt lemmatisiert, was sich vom TIGER-Vorgehen unterscheidet (vgl. Proisl et al., 2019: 2).
5.4.6 Artikel
Bestimmte Artikel werden als die lemmatisiert. Unbestimmte Artikel werden im Nominativ Singular Femininum (eine) lemmatisiert, was sich bzgl. des Genus von den TIGER-Richtlinien von Proisl et al. (2019) unterscheidet und u.a. im Output des Taggers begründet liegt.
5.4.7 Pronomen
Pronomen wurden, wenn möglich, im Nominativ Singular Femininum (statt Maskulinum wie bei Proisl et al., 2019: 7f.) lemmatisiert. Pronomen, die nur im Plural existieren (z.B. beide, irgendwelche), wurden in der indefiniten Form im Nominativ Plural Femininum lemmatisiert. Bei unflektierbaren Formen (sich, wer) wurde die Oberflächenform lemmatisiert.
5.4.8 Adverbien
Adverbien wurden in ihrer Oberflächenform lemmatisiert. Bei Kontraktionen wie bei sone wurde das Adverb in seiner Oberflächenform lemmatisiert; der zweite Bestandteil der Kontraktion (Artikel) wurde, anders als bei Proisl et al. (2019, S. 10), ebenfalls lemmatisiert (gleiches Event, durch Leerzeichen getrennt).
5.4.9 Konjunktionen
Konjunktionen wurden in ihrer Oberflächenform lemmatisiert. Bei Kontraktionen wurde das Pronomen, anders als bei Proisl et al. (2019, S. 11), ebenfalls lemmatisiert (gleiches Event, durch Leerzeichen getrennt).
5.4.10 Adpositionen
Adpositionen wurden in ihrer Oberflächenform lemmatisiert.
APPRART: Bei Präpositionen mit Artikel wurden die Präposition und der Artikel separat lemmatisiert; der Artikel wurde also, anders als bei Proisl et al. (2019, S. 10), ebenfalls lemmatisiert (gleiches Event, durch Leerzeichen getrennt).
5.4.11 Partikeln
Partikeln wurden in ihrer Oberflächenform lemmatisiert.
5.4.12 Interjektionen, Diskursmarker (wie NGHES), ONO, Interpunktion
Das Lemma ist grundsätzlich die Oberflächenform. Normalisierbare Formen, die phonetisch transkribiert wurden (z.B. oke), wurden normalisiert (okay).
5.4.13 Fremdsprachliches Material
Lemma ist die Oberflächenform.
5.4.14 Unklares/Unverständliches
Bei unsicheren Transkriptionen wurde die Form, die als wahrscheinlichste transkribiert wurde, sofern sie im Kontext schlüssig ist, der Lemmatisierung zugrunde gelegt. #fällt# wurde also zu fallen lemmatisiert. Bei nicht auflösbaren unklaren Transkriptionen (z.B. #anzo#) wurde die Oberflächenform inklusive # transkribiert. Ganz Unverständliches, das als XXX transkribiert und auf [pos] als UI getagged wurde, wurde in dieser Form lemmatisiert. Dieses Vorgehen ist bei Proisl et al. (2019) nicht geregelt.
5.5 POS-Tagging
Das POS-Tagging verwendet das Stuttgart-Tübingen-Tagset 2.0 (STTS 2.0) (vgl. Westpfahl et al., 2017). Folgende Tags ergänzen das STTS 2.0:
5.5.1 Präfix- und Partikelverben
Für abgetrennte Präfixe, die zielsprachlich nicht abgetrennt werden können, ergänzen wir das Tag PTKVZU.
Für Präfix- und Partikelverben wird eine ergänzende Verbklasse VP eingeführt, für die sich analog zu den Vollverben (vgl. Westpfahl et al. (2017), 28) folgende Tags ergeben:
VPFIN, VPIMP, VPINF, VPIZU, VPPP
5.5.2 Kopula
Für Kopulae (sein, werden, bleiben) wird die Verbklasse VK ergänzt, hier ergeben sich die Tags:
VKFIN, VKIMP, VKINF, VKIZU, VKPP
5.5.3 weil als Diskursmarker vs. Subjunktion
Abweichend zum STTS 2.0 (26f.) wurde sich in der Differenzierung zwischen Diskursmarker SEDM und Subjunktion KOUS nicht an der Verbstellung orientiert, sondern an der Funktion des entsprechenden Wortes und an der Klassifikation der dazugehörigen Äußerung als eigenständig oder subordiniert, da die Verbstellung oft nicht zielsprachlich ist oder teilweise gar kein (finites) Verb vorhanden ist und die Äußerung dennoch als subordiniert und das entsprechende Token dementsprechend als KOUS klassifiziert werden kann.
Beispiele:
#weil#/KOUS ich ee kein ticket (E04_B07)
weil/KOUS ich ee vergessen mein ticket (E04_B07)
https://github.com/korpling/annatto↩︎
Die Pipeline ist über https://github.com/seiko-korpus/seiko-pipeline/ verfügbar.↩︎