Мультимодальные модели: изображение, звук и текст в одной сети

Коротко: Мультимодальные модели обрабатывают вместе несколько видов данных, например текст, изображения и аудио. Хитрость: всё переводится на один язык векторов, который способен обработать трансформер.