Datenqualität im Maßstab: Entdoppeln, filtern, mischen

Kurz: Bei sehr großen Trainingsdaten entscheidet nicht nur die Menge, sondern die Qualität. Drei Schritte tragen am meisten: Doppeltes entfernen, Schlechtes herausfiltern, die Mischung der Quellen bewusst wählen.

Entdoppeln (Deduplizierung)

Webtexte enthalten viel Wiederholtes: kopierte Artikel, Vorlagen, Lizenztexte. Modelle, die das oft sehen, merken es sich wörtlich und schneiden bei Tests schlechter ab. Man entfernt

• exakte Kopien mit einem Hashing des Textes,
• fast gleiche Texte mit MinHash: ähnliche Wortgruppen ergeben ähnliche Fingerabdrücke, und Texte über einer Ähnlichkeitsschwelle zählen als Dubletten.

Filtern

• Regeln: zu kurz, fast nur Sonderzeichen, extrem viele Wiederholungen, falsche Sprache.
• Qualitätsmodell: Ein kleines Modell bewertet, ob ein Text wie gut geschriebene Quellen aussieht.
• Sicherheit und Recht: persönliche Daten und Urheberrechtsfragen (Trainingsdaten, Urheberrecht und Datenschutz bei KI).
• Testdaten-Lecks: Aufgaben aus Benchmarks dürfen nicht im Training stecken, sonst sind die Ergebnisse geschönt.

Mischen

Welcher Anteil kommt woher: Web, Bücher, Code, Wissenschaft, Gespräche? Mehr Code verbessert oft auch das Schlussfolgern. Man testet Mischungen an kleinen Modellen und überträgt die beste auf das große (Skalierungsgesetze).

Verzerrung im Blick behalten

Jede Filterregel entscheidet mit, was das Modell nie sieht. Zu strenge Filter können Dialekte oder Minderheiten aussortieren (Verzerrung, Fairness und Datenqualität).