Transformer mimarisi

Kısaca: Transformer, neredeyse tüm modern dil modellerinin arkasındaki mimaridir. Temel fikri dikkattir (attention).

Biraz daha ayrıntılı: Dikkat mekanizmasında model, her token için bağlamdaki diğer her token’ın anlaşılması açısından ne kadar önemli olduğunu hesaplar. Böylece uzak ilişkiler yakalanabilir. Mimari 2017’de “Attention Is All You Need” makalesinde yayımlandı.

Ayrıntılı

• Katmanlar: birçok aynı blok; dikkat ve bir ileri beslemeli ağ.
• Yalnızca çözücü (decoder-only): GPT, Llama, Qwen metni belirteç belirteç üretir.
• Karesel büyüme: Dikkat hesabı bağlam uzunluğuyla karesel olarak büyür. FlashAttention ve diğer yöntemler bunu hafifletir.
• Konumlar: döner gömmeler (RoPE) sırayı kodlar.

Ayrıca bak: Parametreler (yapay zekâ modeli), KV önbelleği