Довгі контексти: техніки та межі

Коротко: Сучасні моделі обробляють від сотень тисяч до мільйонів токенів. Це працює з адаптованим позиційним кодуванням, ефективною увагою та великим обсягом пам’яті. Проте моделі використовують довгі контексти не однаково добре.

Докладніше: Увага зростає квадратично з довжиною, а KV-кеш — лінійно. Обидва мають лишатися прийнятними.