Длинные контексты: техники и границы

Коротко: Современные модели обрабатывают от сотен тысяч до миллионов токенов. Это работает с адаптированным позиционным кодированием, эффективным вниманием и большим объёмом памяти. Всё же модели используют длинные контексты неодинаково хорошо.

Подробнее: Внимание растёт квадратично с длиной, а KV-кэш — линейно. Оба должны оставаться приемлемыми.