Multimodale Modelle: Bild, Ton und Text in einem Netz

Kurz: Multimodale Modelle verarbeiten mehrere Arten von Daten gemeinsam, etwa Text, Bilder und Ton. Der Trick: alles wird in dieselbe Sprache aus Vektoren übersetzt, die ein Transformer verarbeiten kann.

Wie das geht

1. Bild: Es wird in Kacheln („Patches“) zerlegt, jede Kachel wird zu einem Vektor, wie bei Vision Transformer und CLIP.
2. Ton: Das Signal wird in kurze Abschnitte oder ein Spektrogramm zerlegt und ebenfalls in Vektoren umgewandelt, siehe Sprache und Audio: Spracherkennung und Sprachsynthese.
3. Text: wie gewohnt in Token, siehe Tokenisierung, BPE und Vokabular.
4. Alle Vektoren landen als eine gemeinsame Folge im selben Transformer. Self-Attention kann dann zwischen Bildteilen und Wörtern vermitteln.

Zwei Bauweisen

• Angeflanschte Encoder: Ein fertiger Bild-Encoder wird über einen kleinen Adapter an ein Sprachmodell gehängt. Schnell zu trainieren.
• Von Anfang an gemeinsam: Das Modell wird mit gemischten Daten von Grund auf trainiert, auch mit Bildern und Ton als Ausgabe.

Grenzen

Modelle verwechseln Details in Bildern, zählen schlecht und lesen kleine Schrift unsicher. Bilder können außerdem versteckte Anweisungen enthalten, siehe Prompt Injection.

Siehe auch: Computer Vision: Aufgaben und Verfahren