Контекстне вікно

Коротко: Контекстне вікно — це обсяг тексту (у токенах), який мовна модель може враховувати одночасно: запитання, попередня історія, документи та відповідь разом.

Докладніше: Старі моделі мали від 2 000 до 8 000 токенів, сучасні — від 128 000 до понад мільйон. Що більше вікно, то більше пам’яті потребує KV-кеш і то повільнішим стає кожен новий токен.

Подробиці

• Втрата посередині (lost in the middle): моделі часто краще використовують інформацію на початку й наприкінці довгих текстів, ніж посередині.
• Немає пам’яті: чого немає у вікні, того модель не знає. Тому застосунки надсилають історію разом із запитом або стискають її.
• RAG: замість того щоб класти все у вікно, RAG підтягує лише відповідні фрагменти тексту.
• Вартість: довгі запити коштують часу, а в хмарних провайдерів — і грошей.

Див. також: Токен (ШІ), RAG (генерація з доповненням пошуком)