Енкодер, декодер і родини моделей (BERT, GPT, T5)

Коротко: Є три конструкції трансформерів: лише енкодер (BERT, розуміє текст), лише декодер (GPT, створює текст) та енкодер–декодер (T5, перетворює вхід на вихід). Майже всі сьогоднішні чат-моделі — чисті декодери.

Докладніше: Різниця в масці уваги: енкодери дивляться в обидва боки, декодери — лише ліворуч.