Datenannotation und Labeling: Wie Trainingsdaten entstehen

Kurz: Für überwachtes Lernen müssen Menschen Daten mit der richtigen Antwort versehen (Labels); Qualität, Einheitlichkeit und Arbeitsbedingungen beim Labeling prägen das spätere Modell.

Genauer: Ein Modell, das Katzen erkennen soll, braucht Bilder mit der Information „Katze“ oder „keine Katze“. Dieses Labeln (Annotieren) ist oft der teuerste und wichtigste Teil eines KI-Projekts. „Garbage in, garbage out“: Falsche Labels erzeugen ein fehlerhaftes Modell.

Im Detail

Arten von Annotation

• Klassifikation: ein Etikett pro Beispiel (Spam/kein Spam).
• Objekterkennung: Rahmen (Bounding Boxes) um Objekte.
• Segmentierung: Pixel-genaue Masken.
• Schlüsselpunkte, Skelette, Transkription von Audio, Entitäten in Texten (Namen, Orte), Bewertungen von Antworten (für Sprachmodelle, etwa Präferenzvergleiche). Werkzeuge: Label Studio, CVAT, Labelbox, Prodigy.

Qualität sichern

Schreibe klare Richtlinien mit Beispielen und Grenzfällen. Lass mehrere Personen dieselben Daten labeln und messe die Übereinstimmung (Cohens Kappa). Nutze Stichproben und Reviews, Gold-Standards (bekannte richtige Beispiele) und überprüfe Auffälligkeiten. Unklare Fälle gehören zur Diskussion, nicht zum Raten. Auch Modelle helfen: Active Learning wählt Beispiele aus, bei denen das Modell unsicher ist; Vorannotation durch ein Modell, das Menschen korrigieren.

Verzerrung und Ethik

Labeler tragen eigene Sichtweisen und Vorurteile ein; die Auswahl der Daten und Kategorien prägt, was das Modell „sieht“. Viel Labeling-Arbeit wird weltweit von Klickarbeitern zu niedrigen Löhnen geleistet, teils bei belastenden Inhalten. Faire Bezahlung, Unterstützung und Transparenz über Herkunft der Daten gehören zu verantwortungsvoller KI.

Datenschutz und Praxis

Daten mit Personenbezug brauchen Rechtsgrundlage und Schutz (Pseudonymisierung, Zugriffsbeschränkung). Beginne mit kleinen Pilotdatensätzen, um die Richtlinien zu testen, bevor du große Mengen labelst. Versioniere Datensätze und Labels, und dokumentiere Herkunft, Lizenz und bekannte Schwächen (Datasheets for Datasets).

Siehe auch: Lernarten, Verzerrung, Fairness und Datenqualität, Trainingsdaten, Urheberrecht und Datenschutz, Datenaugmentation