Трансформер для зору та CLIP

Коротко: Трансформер для зору (ViT) ділить зображення на маленькі плитки (патчі), поводиться з ними як із токенами й обробляє трансформером. CLIP вчиться відображати зображення й тексти в один векторний простір.

Докладніше: Так та сама архітектура може обробляти текст і зображення. Це основа мультимодальних моделей, які «бачать» і описують зображення.