Dönüştürücü (transformer) bloğu ayrıntılı

Kısaca: Bir dönüştürücü birçok özdeş bloktan oluşur. Her bloğun iki parçası vardır: dikkat (belirteçler arasında bilgi değişimi) ve bir MLP (her belirtecin kendi başına “düşünmesi”), her biri normalleştirme ve bir atlama bağlantısıyla.

Biraz daha ayrıntılı: Bir dil modeli örneğin 32 ila 100’ün üzerinde böyle blok yığar. Bilgi esas olarak MLP parçalarının ağırlıklarında durur.