Prompt-Caching und Kosten sparen

Kurz: Beim Prompt-Caching merkt sich der Anbieter die bereits berechnete Verarbeitung eines gleichbleibenden Prompt-Anfangs. Folgende Anfragen mit demselben Anfang sind dann schneller und deutlich billiger.

Wie es funktioniert

Beim Lesen eines Prompts berechnet das Modell für jedes Token Zwischenwerte, den KV-Cache (siehe Self-Attention im Detail). Ist der Anfang zweier Anfragen identisch, kann der Anbieter diese Werte wiederverwenden, statt sie neu zu berechnen.

• Gecacht wird nur der gleiche Anfang (Präfix). Ändert sich schon das erste Zeichen, greift der Cache nicht.
• Deshalb gehört das Gleichbleibende (Systemanweisung, lange Dokumente, Werkzeugbeschreibungen) nach vorn und das Wechselnde (die aktuelle Frage) ans Ende.
• Gecachte Teile werden oft nur für wenige Minuten gehalten und müssen eine Mindestlänge haben. Details und Preise legt jeder Anbieter selbst fest.

Weitere Sparhebel

1. Kleineres Modell für einfache Aufgaben, größeres nur wenn nötig.
2. Kürzere Ausgaben erbitten, denn erzeugte Token sind meist teurer als gelesene.
3. Batch-Verarbeitung für nicht eilige Aufträge.
4. Weniger Kontext: nur die wirklich nötigen Dokumentteile mitschicken, siehe Vektordatenbanken und Ähnlichkeitssuche.

Siehe auch: Inferenz-Server: Batching, PagedAttention und vLLM