Öz-dikkat ayrıntılı

Kısaca: Öz-dikkat, her belirtecin hangi diğer belirteçlere dikkat edeceğine karar vermesini ve bilgilerini buna göre karıştırmasını sağlar. Bunun için belirteç başına üç vektör vardır: sorgu, anahtar ve değer.

Biraz daha ayrıntılı: Bir belirtecin sorgusu tüm belirteçlerin anahtarlarıyla karşılaştırılır (iç çarpım). Ne kadar benzerse ağırlık o kadar yüksektir. Softmax bunu paylara çevirir, sonuç değerlerin ağırlıklı toplamıdır.