Bağlam penceresi (context window)

Kısaca: Bağlam penceresi, bir dil modelinin aynı anda dikkate alabildiği metin miktarıdır (belirteç olarak): soru, şimdiye kadarki geçmiş, belgeler ve cevap birlikte.

Biraz daha ayrıntılı: Eski modellerde 2.000–8.000 belirteç vardı, güncel olanlarda 128.000’den bir milyonun üzerine kadar. Pencere büyüdükçe KV önbelleği daha fazla bellek ister ve her yeni belirteç daha yavaşlar.

Ayrıntılı

• Ortada kaybolma (lost in the middle): Modeller, uzun metinlerin başındaki ve sonundaki bilgiyi çoğunlukla ortadakinden daha iyi kullanır.
• Hafıza yok: Pencerede olmayanı model bilmez. Bu yüzden uygulamalar geçmişi birlikte gönderir veya özetler.
• RAG: Her şeyi pencereye koymak yerine RAG yalnızca uygun metin parçalarını getirir.
• Maliyet: Uzun istemler zaman, bulut sağlayıcılarda ise para kaybettirir.

Ayrıca bak: Token (yapay zekâ), RAG (geri getirmeyle zenginleştirilmiş üretim)