EMZETT.
Увійти

Оцінювання ШІ: тести, бенчмарки та LLM у ролі судді

Коротко: Наскільки добра модель, вимірюють тестами: фіксованими бенчмарками, порівняннями людьми й дедалі частіше іншими моделями в ролі оцінювачів. У кожного методу є слабкості.

Докладніше: Мовні моделі вміють багато, тому єдиного числа немає. Добре оцінювання поєднує кілька методів і власні тести під вашу задачу.

Подробиці

  • Бенчмарки: MMLU (знання), GSM8K/MATH…

Див. також: бенчмарки для мовних моделей, метрики: точність, precision, recall та F1