Генерація зображень дифузійними моделями
Коротко: Дифузійна модель створює зображення, крок за кроком обчислюючи картинку з чистого шуму. Під час навчання вона вчиться прибирати шум із зображень.
Докладніше: Під час навчання справжнє зображення вкривають шумом за багато кроків, доки не лишиться один шум. Мережа вчиться зворотного: передбачати компонент шуму за зашумленим зображенням.
Подробиці
- Прямий хід (навчання): зображення + шум кроку…
Див. також: трансформер для зору та CLIP, згорткові мережі (CNN) для зображень