EMZETT.
Увійти

Кешування промптів та економія витрат

Коротко: За кешування промптів провайдер запам’ятовує вже обчислену обробку незмінного початку промпту. Наступні запити з тим самим початком стають швидшими й набагато дешевшими.

Як це працює

Під час читання промпту модель обчислює…

Див. також: сервери інференсу: батчинг, PagedAttention і vLLM