Token (yapay zekâ)

Kısaca: Token, bir dil modelinin metni böldüğü küçük metin parçasıdır. Bir token çoğunlukla bir kelime parçası, kısa bir kelime veya bir noktalama işaretidir.

Biraz daha ayrıntılı: Almancada bir token kabaca 3–4 harf, İngilizcede yaklaşık 4 harftir. 1.000 token yaklaşık 700–750 İngilizce kelimeye karşılık gelir; Almanca metinler uzun bileşik kelimeler yüzünden biraz daha fazla token gerektirir.

Bizim bağlamımız: Yapay zekâ hız hesaplayıcısında hız saniyedeki token olarak verilir ve dakikadaki kelime ile kitap sayfasına çevrilir.

Ayrıntılı

• Tokenizer: en sık karakter dizilerini token olarak birleştiren bir yöntem (örneğin byte-pair encoding).
• Neden token: Model sayılarla çalışır. Her token’ın bir numarası ve bir vektörü vardır (Embedding).
• Maliyet: Sağlayıcılar girdi ve çıktı token’larını faturalandırır.
• Bağlam penceresi: bir modelin aynı anda dikkate aldığı en fazla token sayısı (Bağlam penceresi).

Ayrıca bak: Saniyedeki token, Bağlam penceresi