KI-Modelle und ihre Hardware · Lektion 7 von 20

Tokens pro Sekunde

Kurz erklärt

Tokens pro Sekunde (Tok/s) misst, wie schnell ein Sprachmodell Text erzeugt. Je höher, desto flüssiger wirkt die Antwort.

Genauer

Beim Erzeugen jedes einzelnen Tokens muss die Hardware fast alle aktiven Gewichte des Modells einmal aus dem Speicher lesen. Die Geschwindigkeit ist deshalb meist durch die Speicherbandbreite begrenzt, nicht durch die Rechenleistung. Faustformel: Tok/s ≈ Bandbreite × Wirkungsgrad ÷ Modellgröße in Bytes.

Vollständigen Artikel im Wiki lesen →

Deine Notizen

Anmelden um Text zu markieren und Notizen zu speichern.

Frag den Mentor

Markiere im Kapitel eine Stelle, die du nicht verstehst, und stell deine Frage. Du entscheidest, wie du die Antwort bekommst.

Keine Stelle markiert (optional).

Deine Frage

AntwortSofort aus Glossar und Wiki (kostenlos, ohne Anmeldung)Live-Mentor: ein Mensch aus dem Team antwortet dir in Echtzeit (mit Anmeldung)KI-Antwort (kommt vielleicht später, kostet laufend Geld)