Konum kodlaması ve RoPE

Kısaca: Dikkat tek başına sıra bilmez. Konum kodlaması her belirtece nerede durduğu bilgisini verir. Bugün yaygın olan, vektörleri konuma göre döndüren RoPE’dur.

Biraz daha ayrıntılı: Konum olmasaydı, dikkat için “köpek adamı ısırır” ve “adam köpeği ısırır” aynı sözcük kümesi olurdu.

Ayrıntılı

• Sinüzoidal kodlama: özgün (2017)…

Ayrıca bak: Öz-dikkat ayrıntılı, Bağlam penceresi