Vision Transformer und CLIP

Kurz: Ein Vision Transformer (ViT) zerlegt ein Bild in kleine Kacheln (Patches), behandelt sie wie Tokens und verarbeitet sie mit einem Transformer. CLIP lernt, Bilder und Texte in denselben Vektorraum abzubilden.

Genauer: Damit kann dieselbe Architektur Text und Bilder verarbeiten. Das ist die Grundlage multimodaler Modelle, die Bilder „sehen“ und beschreiben.

Im Detail

• ViT: Bild 224×224 → 196 Patches à 16×16 Pixel → je ein Vektor → plus Position → Transformer-Blöcke.
• CLIP (OpenAI, 2021): Zwei Encoder (Bild und Text), trainiert auf Hunderten Millionen Bild-Text-Paaren so, dass zusammengehörige Paare nahe beieinander liegen (kontrastives Lernen).
• Zero-Shot: Ein Bild kann ohne Spezialtraining Klassen zugeordnet werden, indem man die Klassennamen als Text einbettet und vergleicht.
• Multimodale Sprachmodelle: Ein Bild-Encoder liefert Bild-Tokens, die dem Sprachmodell zusammen mit dem Text gegeben werden. So kann das Modell Fotos, Diagramme, Screenshots lesen.
• Anwendungen: Bildsuche, Bildunterschriften, OCR, Dokumentverständnis, Barrierefreiheit (Alt-Text).
• Grenzen: Zählen, räumliche Beziehungen und feine Details sind oft fehlerhaft.

Siehe auch: Faltungsnetze (CNN) für Bilder, embedding-(vektordarstellung)