Серверы инференса: батчинг, PagedAttention и vLLM

Коротко: Сервер инференса отвечает на множество запросов одновременно. С непрерывным батчингом, PagedAttention и кэшированием он получает с того же GPU намного больше ответов в секунду.

Подробнее: Поскольку генерация текста ограничена пропускной способностью памяти, одновременная обработка нескольких запросов почти не требует дополнительного времени: модель читается один раз и обслуживает многих пользователей.