Çıkarım sunucuları: yığınlama, PagedAttention ve vLLM

Kısaca: Bir çıkarım sunucusu birçok isteği aynı anda yanıtlar. Sürekli yığınlama, PagedAttention ve önbellekle aynı GPU’dan çok daha fazla yanıt/saniye alır.

Biraz daha ayrıntılı: Metin üretimi bellek bant genişliğiyle sınırlı olduğundan, birkaç isteği aynı anda işlemek neredeyse hiç ek süre almaz: model bir kez okunur ve birçok kullanıcıya hizmet eder.