Uzun bağlamlar: teknikler ve sınırlar

Kısaca: Modern modeller yüz binlerce ila milyonlarca belirteci işler. Bu, uyarlanmış konum kodlamaları, verimli dikkat ve çok bellekle çalışır. Yine de modeller uzun bağlamları eşit iyi kullanmaz.

Biraz daha ayrıntılı: Dikkat uzunlukla ikinci dereceden, KV önbelleği doğrusal büyür. İkisi de yönetilebilir kalmalıdır.

Ayrıntılı

• Eğitim: önce kısa, sonra adım adım…

Ayrıca bak: Bağlam penceresi, KV önbelleği