Bildgenerierung mit Diffusionsmodellen

Kurz: Ein Diffusionsmodell erzeugt Bilder, indem es aus reinem Rauschen schrittweise ein Bild herausrechnet. Beim Training lernt es, Rauschen von Bildern zu entfernen.

Genauer: Beim Training wird ein echtes Bild in vielen Schritten mit Rauschen überdeckt, bis nur noch Rauschen übrig ist. Das Netz lernt die Umkehrung: aus einem verrauschten Bild den Rauschanteil vorhersagen.

Im Detail

1. Vorwärts (Training): Bild + Rauschen in Stärke t.
2. Lernen: Das Netz (U-Net oder Transformer, „DiT“) sagt das hinzugefügte Rauschen voraus. Verlust: MSE.
3. Erzeugen: Start mit Zufallsrauschen, in 20–50 Schritten jeweils etwas Rauschen entfernen, bis ein Bild entsteht.
4. Text-Steuerung: Ein Text-Encoder (CLIP, T5) liefert Vektoren, die das Netz per Cross-Attention beachtet. Classifier-Free Guidance verstärkt den Einfluss des Prompts.
5. Latenter Raum: Stable Diffusion rechnet nicht in Pixeln, sondern in einem kleineren Raum eines Autoencoders (VAE). Das spart Rechenzeit.

• Varianten: Flow Matching, Konsistenzmodelle (wenige Schritte), Videomodelle.
• Steuerung: Negativ-Prompts, Seed (gleicher Seed = gleiches Startrauschen), ControlNet (Pose, Kanten), LoRA für Stile.
• Gegenstück: GANs (Generator gegen Diskriminator) waren davor üblich und sind schneller, aber instabiler.
• Rechtliches: Urheberrecht der Trainingsbilder ist umstritten, siehe EU AI Act und Regeln für KI.

Siehe auch: Vision Transformer und CLIP, Faltungsnetze (CNN) für Bilder