Дистиляція знань: малі моделі вчаться у великих

Коротко: За дистиляції мала модель-«учень» вчиться імітувати виходи великої моделі-«вчителя» і завдяки цьому стає набагато швидшою за порівнянної якості.

Докладніше: Великі мовні моделі дорого запускати. Дистиляція переносить їхні знання в меншу модель. Учень навчається не лише на правильних відповідях, а й бачить…