Model küçültme: damıtma ve budama
Kısaca: Büyük modeller daha küçük ve hızlı yapılabilir: damıtma (küçük model büyükten öğrenir), nicemleme (sayı başına daha az bit) ve budama (önemsiz ağırlıkları kaldırma).
Biraz daha ayrıntılı: Amaç, mümkün olduğunca az kalite kaybıyla telefonlarda ve küçük bilgisayarlarda çalışmak ya da istek başına maliyeti düşürmektir.
Ayrıntılı
- Damıtma: bir “öğrenci” taklit etmeyi öğrenir…
Ayrıca bak: Nicemleme, VRAM ve model boyutu