Энкодер, декодер и семейства моделей (BERT, GPT, T5)

Коротко: Есть три конструкции трансформеров: только энкодер (BERT, понимает текст), только декодер (GPT, создаёт текст) и энкодер–декодер (T5, превращает вход в выход). Почти все сегодняшние чат-модели — чистые декодеры.

Подробнее: Разница в маске внимания: энкодеры смотрят в обе стороны, декодеры — только влево.