EMZETT.Kurz erklärt
Ein kleines, schnelles Modell rät mehrere Tokens voraus, das große Modell prüft sie auf einmal. Stimmt der Tipp, entstehen mehrere Tokens in einem Schritt.
Genauer
Weil die Prüfung mehrerer Tokens fast so viel Zeit braucht wie das Erzeugen eines einzigen (die Gewichte werden ohnehin einmal gelesen), steigt die Geschwindigkeit um den Faktor 1,5 bis 3, wenn das kleine Modell oft richtig liegt. Das Ergebnis ist identisch zu dem des großen Modells.