Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Spekulatives Decoding Ein kleines, schnelles Modell rät mehrere Tokens voraus, das große Modell prüft sie auf einmal. Stimmt der Tipp, entstehen mehrere Tokens in einem Schritt.
Weil die Prüfung mehrerer Tokens fast so viel Zeit braucht wie das Erzeugen eines einzigen (die Gewichte werden ohnehin einmal gelesen), steigt die Geschwindigkeit um den Faktor 1,5 bis 3, wenn das kleine Modell oft richtig liegt. Das Ergebnis ist identisch zu dem des großen Modells.
Verwandt: Prefill und Decode · Tokens pro Sekunde
Ganzer Artikel im Wiki →

← Emzett Lernen

Glossar

1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.

1 Treffer

Spekulatives Decoding Ein kleines, schnelles Modell rät mehrere Tokens voraus, das große Modell prüft sie auf einmal. Stimmt der Tipp, entstehen mehrere Tokens in einem Schritt.
Weil die Prüfung mehrerer Tokens fast so viel Zeit braucht wie das Erzeugen eines einzigen (die Gewichte werden ohnehin einmal gelesen), steigt die Geschwindigkeit um den Faktor 1,5 bis 3, wenn das kleine Modell oft richtig liegt. Das Ergebnis ist identisch zu dem des großen Modells.
Verwandt: Prefill und Decode · Tokens pro Sekunde
Ganzer Artikel im Wiki →