KI-Evaluierung: Tests, Benchmarks und LLM-als-Richter

Kurz: Wie gut ein Modell ist, misst man mit Tests: feste Benchmarks, menschliche Vergleiche und zunehmend andere Modelle als Bewerter. Jede Methode hat Schwächen.

Genauer: Sprachmodelle können vieles, deshalb gibt es keine einzelne Zahl. Gute Evaluierung kombiniert mehrere Verfahren und eigene Tests für den eigenen Zweck.

Im Detail

• Benchmarks: MMLU (Wissen), GSM8K/MATH (Rechnen), HumanEval/SWE-bench (Code), GPQA (Fachfragen). Viele sind „gesättigt“: Spitzenmodelle erreichen fast die Höchstzahl.
• Kontamination: Testfragen können in den Trainingsdaten stehen. Neue, geheime oder laufend erneuerte Tests helfen.
• Menschliche Arena: Nutzer vergleichen zwei anonyme Antworten, daraus wird eine Elo-Rangliste (Chatbot Arena).
• LLM-as-Judge: Ein starkes Modell bewertet Antworten. Billig und schnell, aber mit Vorlieben (lange Antworten, eigener Stil).
• Aufgaben-Evaluierungen: Eigene Testfälle mit erwarteten Ergebnissen für die eigene Anwendung („Evals“), vor jeder Änderung laufen lassen.
• Agenten: Bewertung über erfolgreich gelöste Aufgaben in Umgebungen.
• Messprobleme: Prompt-Wortlaut, Stichprobengröße, Zufall (Temperatur).
• Praxis: Die beste Wahl ist das Modell, das für die eigene Aufgabe in eigenen Tests gewinnt.

Siehe auch: benchmarks-für-sprachmodelle, Metriken: Genauigkeit, Precision, Recall und F1