Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Benchmarks für Sprachmodelle Benchmarks sind standardisierte Tests, mit denen Sprachmodelle verglichen werden, zum Beispiel MMLU (Allgemeinwissen), HumanEval (Code) oder GSM8K (Rechenaufgaben).
Sie liefern vergleichbare Zahlen, haben aber Grenzen: Modelle können Testfragen im Training gesehen haben, und ein hoher Wert sagt wenig über die eigene Aufgabe. Ergänzend gibt es Rankings, bei denen Menschen Antworten blind vergleichen (z. B. Chatbot Arena).
Verwandt: Hugging Face · Parameter (KI-Modell)
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Benchmarks für Sprachmodelle Benchmarks sind standardisierte Tests, mit denen Sprachmodelle verglichen werden, zum Beispiel MMLU (Allgemeinwissen), HumanEval (Code) oder GSM8K (Rechenaufgaben).
Sie liefern vergleichbare Zahlen, haben aber Grenzen: Modelle können Testfragen im Training gesehen haben, und ein hoher Wert sagt wenig über die eigene Aufgabe. Ergänzend gibt es Rankings, bei denen Menschen Antworten blind vergleichen (z. B. Chatbot Arena).
Verwandt: Hugging Face · Parameter (KI-Modell)
Ganzer Artikel im Wiki →