Бенчмарки для мовних моделей

Коротко: Бенчмарки — це стандартизовані тести для порівняння мовних моделей, наприклад MMLU (загальні знання), HumanEval (код) або GSM8K (математичні задачі).

Докладніше: Вони дають порівнянні числа, але мають обмеження: моделі могли бачити тестові запитання під час навчання, а високий бал мало говорить про ваше власне завдання. Крім того, є рейтинги, де люди наосліп порівнюють відповіді (наприклад, Chatbot Arena).

Подробиці

• MMLU: запитання з вибором відповіді на знання з багатьох предметів.
• HumanEval, MBPP: завдання з програмування з автоматичною перевіркою.
• GSM8K, MATH: математика та текстові задачі.
• Контамінація: якщо тестові дані потрапили в навчання, бал завищений.
• Власні тести: найкраще оцінити модель можна на 20–50 прикладах із вашої роботи.

Див. також: Параметри (модель ШІ), Hugging Face