Трансформер для зрения и CLIP

Коротко: Трансформер для зрения (ViT) делит изображение на маленькие плитки (патчи), обращается с ними как с токенами и обрабатывает трансформером. CLIP учится отображать изображения и тексты в одно векторное пространство.

Подробнее: Так одна и та же архитектура может обрабатывать текст и изображения. Это основа мультимодальных моделей, которые «видят» и описывают изображения.