EMZETT.Kurz erklärt
Benchmarks sind standardisierte Tests, mit denen Sprachmodelle verglichen werden, zum Beispiel MMLU (Allgemeinwissen), HumanEval (Code) oder GSM8K (Rechenaufgaben).
Genauer
Sie liefern vergleichbare Zahlen, haben aber Grenzen: Modelle können Testfragen im Training gesehen haben, und ein hoher Wert sagt wenig über die eigene Aufgabe. Ergänzend gibt es Rankings, bei denen Menschen Antworten blind vergleichen (z. B. Chatbot Arena).