İstem önbellekleme ve maliyet tasarrufu

Kısaca: İstem önbelleklemede sağlayıcı, bir istemin değişmeyen başlangıcının önceden hesaplanmış işlemesini hatırlar. Aynı başlangıçlı sonraki istekler daha hızlı ve çok daha ucuz olur.

Nasıl çalışır

Bir istemi okurken model hesaplar…

Ayrıca bak: Çıkarım sunucuları: yığınlama, PagedAttention ve vLLM