Мультимодальні моделі: зображення, звук і текст в одній мережі

Коротко: Мультимодальні моделі обробляють разом кілька видів даних, наприклад текст, зображення й аудіо. Хитрість: усе перекладається на одну мову векторів, яку здатен обробити трансформер.