Benchmarks für Sprachmodelle

Kurz: Benchmarks sind standardisierte Tests, mit denen Sprachmodelle verglichen werden, zum Beispiel MMLU (Allgemeinwissen), HumanEval (Code) oder GSM8K (Rechenaufgaben).

Genauer: Sie liefern vergleichbare Zahlen, haben aber Grenzen: Modelle können Testfragen im Training gesehen haben, und ein hoher Wert sagt wenig über die eigene Aufgabe. Ergänzend gibt es Rankings, bei denen Menschen Antworten blind vergleichen (z. B. Chatbot Arena).

Im Detail

• MMLU: Multiple-Choice-Wissen in vielen Fächern.
• HumanEval, MBPP: Programmieraufgaben mit automatischer Prüfung.
• GSM8K, MATH: Rechen- und Textaufgaben.
• Verunreinigung: Wenn Testdaten im Training landen, ist der Wert zu optimistisch.
• Eigene Tests: Mit 20 bis 50 Beispielen aus der eigenen Arbeit lässt sich ein Modell am besten einschätzen.

Siehe auch: Parameter (KI-Modell), Hugging Face