Kontrastives und selbstüberwachtes Lernen

Kurz: Beim selbstüberwachten Lernen erzeugt das System seine Lernaufgabe aus den Daten selbst. Kontrastives Lernen bringt ähnliche Beispiele im Vektorraum zusammen und schiebt unähnliche auseinander.

Genauer: So lässt sich aus riesigen unbeschrifteten Datenmengen lernen, die es im Internet im Überfluss gibt.

Im Detail

• Sprachmodelle: Nächstes Token vorhersagen oder Lücken füllen (maskiertes Modell).
• Bilder: Ausschnitte rekonstruieren (MAE) oder zwei Ansichten desselben Bildes nah, andere fern abbilden (SimCLR, DINO).
• Kontrastiver Verlust (InfoNCE): Positive Paare ziehen sich an, negative stoßen sich ab. CLIP lernt so Bild-Text-Paare, siehe Vision Transformer und CLIP.
• Satz-Embeddings: Zwei Formulierungen derselben Bedeutung sollen nah liegen. Wichtig für Suche, siehe Vektordatenbanken und Ähnlichkeitssuche.
• Negative Beispiele: Zu leichte Negative lehren nichts, „harte Negative“ (fast ähnlich) bringen Qualität.
• Vorteil: Kaum Beschriftung nötig, gute allgemeine Darstellungen.
• Nachteil: Große Batches und viel Rechenzeit.

Siehe auch: Lernarten: überwacht, unüberwacht, verstärkend, Word2Vec und die Geschichte der Embeddings