Görü dönüştürücüsü ve CLIP

Kısaca: Bir görü dönüştürücüsü (ViT) görüntüyü küçük karolara (yamalara) böler, onları belirteç gibi ele alır ve bir dönüştürücüyle işler. CLIP, görüntüleri ve metinleri aynı vektör uzayına eşlemeyi öğrenir.

Biraz daha ayrıntılı: Böylece aynı mimari metni ve görüntüleri işleyebilir. Görüntüleri “gören” ve anlatan çok kipli modellerin temelidir.