Spekulatives Decoding

Kurz: Ein kleines, schnelles Modell rät mehrere Tokens voraus, das große Modell prüft sie auf einmal. Stimmt der Tipp, entstehen mehrere Tokens in einem Schritt.

Genauer: Weil die Prüfung mehrerer Tokens fast so viel Zeit braucht wie das Erzeugen eines einzigen (die Gewichte werden ohnehin einmal gelesen), steigt die Geschwindigkeit um den Faktor 1,5 bis 3, wenn das kleine Modell oft richtig liegt. Das Ergebnis ist identisch zu dem des großen Modells.

Im Detail

• Gut bei: Vorhersehbarem Text (Code, Standardantworten).
• Weniger gut: Kreativ und zufällig.
• Variante: Medusa und EAGLE nutzen zusätzliche Köpfe statt eines kleinen Modells.
• Speicher: Das kleine Modell braucht zusätzlichen Platz.

Siehe auch: Tokens pro Sekunde, Prefill und Decode