Videogenerierung mit KI

Kurz: KI-Videogeneratoren erzeugen bewegte Bilder aus Text oder Bildern. Technisch sind es meist Diffusionsmodelle, die zusätzlich die Zeit als Dimension behandeln.

Grundidee

Bei Bildgenerierung mit Diffusionsmodellen wird Rauschen schrittweise zu einem Bild entrauscht. Für Video entrauscht man einen ganzen Stapel von Bildern gleichzeitig. Das Modell muss dabei lernen, dass benachbarte Einzelbilder zusammenpassen.

• Zeitliche Aufmerksamkeit: Zusätzlich zur Attention innerhalb eines Bildes schaut das Modell über mehrere Einzelbilder hinweg.
• Latenter Raum: Das Video wird zuerst stark komprimiert (siehe Autoencoder und VAE), das Modell arbeitet auf dieser kleineren Darstellung und ein Decoder macht daraus wieder Pixel.
• Bedingung: Ein Text (oder ein Startbild) steuert, was gezeigt wird.

Schwierigkeiten

1. Konsistenz: Gesichter, Kleidung und Objekte sollen von Bild zu Bild gleich bleiben.
2. Physik: Das Modell kennt keine echten Gesetze, es hat nur Muster gelernt. Dinge können durcheinander gleiten.
3. Länge und Rechenaufwand: Jede zusätzliche Sekunde bedeutet viele weitere Bilder und sehr viel Rechenzeit.
4. Missbrauch: Täuschend echte Videos erleichtern Fälschungen, siehe Deepfakes und KI-Erkennung und C2PA und Herkunftsnachweise für KI-Inhalte.

Siehe auch: Multimodale Modelle: Bild, Ton und Text in einem Netz