Kodlayıcı, kod çözücü ve model aileleri (BERT, GPT, T5)

Kısaca: Dönüştürücülerin üç tasarımı vardır: yalnızca kodlayıcı (BERT, metni anlar), yalnızca kod çözücü (GPT, metin üretir) ve kodlayıcı-kod çözücü (T5, girdiyi çıktıya çevirir). Bugünkü sohbet modellerinin neredeyse hepsi salt kod çözücüdür.

Biraz daha ayrıntılı: Fark dikkat maskesindedir: kodlayıcılar iki yöne bakar, kod çözücüler yalnızca sola.