Кэширование промптов и экономия расходов
Коротко: При кэшировании промптов провайдер запоминает уже вычисленную обработку неизменного начала промпта. Последующие запросы с тем же началом становятся быстрее и намного дешевле.
Как это работает
При чтении промпта модель вычисляет…
См. также: серверы инференса: батчинг, PagedAttention и vLLM