Контекстное окно

Коротко: Контекстное окно — это объём текста (в токенах), который языковая модель может учитывать одновременно: вопрос, предыдущая история, документы и ответ вместе.

Подробнее: У старых моделей было от 2 000 до 8 000 токенов, у современных — от 128 000 до более миллиона. Чем больше окно, тем больше памяти требует KV-кэш и тем медленнее становится каждый новый токен.

Подробности

• Потеря в середине (lost in the middle): модели часто лучше используют информацию в начале и конце длинных текстов, чем в середине.
• Нет памяти: чего нет в окне, того модель не знает. Поэтому приложения отправляют историю вместе с запросом или сжимают её.
• RAG: вместо того чтобы класть всё в окно, RAG подгружает только подходящие фрагменты текста.
• Стоимость: длинные запросы стоят времени, а у облачных провайдеров — и денег.

См. также: Токен (ИИ), RAG (генерация с дополнением поиском)