Çok başlı dikkat ve çeşitleri

Kısaca: Tek bir dikkat yerine, farklı ilişkilere (dilbilgisi, göndermeler, yakınlık) paralel dikkat eden birkaç “baş” vardır. Sonuçları birleştirilir.

Biraz daha ayrıntılı: Vektör parçalara bölünür, her başın kendi Q, K, V ağırlıkları vardır ve farklı bir ilişki türü öğrenir.

Ayrıntılı

• Çok başlı (MHA): örneğin 32 baş…

Ayrıca bak: Öz-dikkat ayrıntılı, KV önbelleği