Кешування промптів та економія витрат
Коротко: За кешування промптів провайдер запам’ятовує вже обчислену обробку незмінного початку промпту. Наступні запити з тим самим початком стають швидшими й набагато дешевшими.
Як це працює
Під час читання промпту модель обчислює…
Див. також: сервери інференсу: батчинг, PagedAttention і vLLM