Dil modelleri için kıyaslamalar

Kısaca: Kıyaslamalar (benchmark), dil modellerini karşılaştırmak için kullanılan standartlaştırılmış testlerdir; örneğin MMLU (genel bilgi), HumanEval (kod) veya GSM8K (matematik problemleri).

Biraz daha ayrıntılı: Karşılaştırılabilir sayılar verirler ama sınırları vardır: modeller test sorularını eğitimde görmüş olabilir ve yüksek bir puan kendi göreviniz hakkında pek bir şey söylemez. Ayrıca insanların cevapları kör olarak karşılaştırdığı sıralamalar da vardır (örneğin Chatbot Arena).

Ayrıntılı

• MMLU: birçok alanda çoktan seçmeli bilgi soruları.
• HumanEval, MBPP: otomatik denetimli programlama görevleri.
• GSM8K, MATH: matematik ve metin problemleri.
• Bulaşma (contamination): Test verisi eğitime karışırsa puan fazla iyimser olur.
• Kendi testleriniz: Bir modeli en iyi, kendi işinizden 20–50 örnekle değerlendirebilirsiniz.

Ayrıca bak: Parametreler (yapay zekâ modeli), Hugging Face