Бенчмарки для языковых моделей

Коротко: Бенчмарки — это стандартизированные тесты для сравнения языковых моделей, например MMLU (общие знания), HumanEval (код) или GSM8K (математические задачи).

Подробнее: Они дают сопоставимые числа, но имеют ограничения: модели могли видеть тестовые вопросы при обучении, а высокий балл мало говорит о вашей собственной задаче. Кроме того, есть рейтинги, где люди вслепую сравнивают ответы (например, Chatbot Arena).

Подробности

• MMLU: вопросы с выбором ответа по знаниям во многих предметах.
• HumanEval, MBPP: задачи по программированию с автоматической проверкой.
• GSM8K, MATH: математика и текстовые задачи.
• Контаминация: если тестовые данные попали в обучение, балл завышен.
• Собственные тесты: лучше всего оценить модель можно на 20–50 примерах из вашей работы.

См. также: Параметры (модель ИИ), Hugging Face