Сервери інференсу: батчинг, PagedAttention і vLLM

Коротко: Сервер інференсу відповідає на безліч запитів одночасно. З безперервним батчингом, PagedAttention і кешуванням він отримує з того самого GPU набагато більше відповідей за секунду.

Докладніше: Оскільки генерація тексту обмежена пропускною здатністю пам’яті, одночасне опрацювання кількох запитів майже не потребує додаткового часу: модель читається один раз і обслуговує багатьох користувачів.