Synthetische Daten und Datenvermehrung

Kurz: Wenn echte Daten knapp, teuer oder privat sind, vermehrt man sie (Augmentation) oder erzeugt künstliche (synthetische) Daten, oft mit anderen KI-Modellen.

Genauer: Beides vergrößert das Trainingsmaterial. Synthetische Daten sind inzwischen ein wichtiger Teil des Trainings großer Sprachmodelle.

Im Detail

• Augmentation bei Bildern: Spiegeln, Drehen, Zuschneiden, Helligkeit, Rauschen, Ausschneiden. Das Modell lernt, dass sich die Klasse dabei nicht ändert.
• Bei Text: Umschreiben, Rückübersetzen, Wörter ersetzen.
• Bei Audio: Tempo und Tonhöhe ändern, Hintergrundgeräusche.
• Synthetisch: Ein Modell schreibt Aufgaben und Lösungen, Dialoge, Code. Ein Prüfer (Tests, Verifizierer) filtert gute heraus.
• Simulation: Fahrszenen, Roboter, Medizinbilder aus Simulatoren.
• Risiken: „Modell-Kollaps“, wenn Modelle immer nur von Modell-Ausgaben lernen, Verstärkung von Fehlern, fehlende Vielfalt.
• Datenschutz: Echte Personen lassen sich in sorgfältig erzeugten synthetischen Daten schwerer finden, ein vollständiger Schutz ist aber nicht garantiert.

Siehe auch: Daten, Merkmale und Labels, Wie ein Sprachmodell trainiert wird