Дистилляция знаний: малые модели учатся у больших

Коротко: При дистилляции малая модель-«ученик» учится имитировать выходы большой модели-«учителя» и благодаря этому становится намного быстрее при сопоставимом качестве.

Подробнее: Большие языковые модели дорого запускать. Дистилляция переносит их знания в модель поменьше. Ученик обучается не только на верных ответах, но и видит…