Генерация изображений диффузионными моделями
Коротко: Диффузионная модель создаёт изображения, шаг за шагом вычисляя картинку из чистого шума. При обучении она учится убирать шум с изображений.
Подробнее: При обучении настоящее изображение покрывают шумом за много шагов, пока не останется один шум. Сеть учится обратному: предсказывать компонент шума по зашумлённому изображению.
Подробности
- Прямой ход (обучение): изображение + шум шага…
См. также: трансформер для зрения и CLIP, свёрточные сети (CNN) для изображений