EMZETT.
Войти

Кэширование промптов и экономия расходов

Коротко: При кэшировании промптов провайдер запоминает уже вычисленную обработку неизменного начала промпта. Последующие запросы с тем же началом становятся быстрее и намного дешевле.

Как это работает

При чтении промпта модель вычисляет…

См. также: серверы инференса: батчинг, PagedAttention и vLLM