Уменьшение моделей: дистилляция и прунинг

Коротко: Большие модели можно сделать меньше и быстрее: дистилляция (маленькая модель учится у большой), квантование (меньше бит на число) и прунинг (удаление неважных весов).

Подробнее: Цель — работать на телефонах и небольших компьютерах или снизить стоимость запроса при минимальной потере качества.