Зменшення моделей: дистиляція та прунінг

Коротко: Великі моделі можна зробити меншими й швидшими: дистиляція (мала модель вчиться у великої), квантування (менше бітів на число) і прунінг (видалення неважливих ваг).

Докладніше: Мета — працювати на телефонах і невеликих комп’ютерах або знизити вартість запиту за мінімальної втрати якості.