Bilgi damıtma: küçük modeller büyüklerden öğrenir

Kısaca: Damıtmada küçük bir “öğrenci” model, büyük bir “öğretmen” modelin çıktılarını taklit etmeyi öğrenir ve böylece benzer kalitede çok daha hızlı olur.

Biraz daha ayrıntılı: Büyük dil modellerini çalıştırmak pahalıdır. Damıtma bilgilerini daha küçük bir modele aktarır. Öğrenci yalnızca doğru yanıtlarla değil, öğretmenin…