Parametreler (yapay zekâ modeli)

Kısaca: Parametreler (ağırlıklar), bir sinir ağının bilgisini sakladığı sayılardır. “7B”, yedi milyar parametre demektir.

Biraz daha ayrıntılı: Ne kadar çok parametre varsa o kadar çok bilgi ve yetenek vardır, ama aynı zamanda daha çok bellek ve daha yavaş çalışma da. Kalite ayrıca eğitim verisine ve yöntemine bağlıdır. Modern küçük modeller (7–14 milyar) bugün eski, çok daha büyük olanları geride bırakıyor.

Ayrıntılı

• Boyut sınıfları: 3B altı (telefon, edge), 7–14B (dizüstü, 8–16 GB), 30–40B (güçlü ekran kartı), 70B (iki kart veya Mac), 100B üzeri (sunucu, iş istasyonu).
• Yoğun ve MoE modeller: Uzmanların karışımı toplam ve etkin parametreleri ayırır.
• Eğitim: Eğitim, çalıştırmanın birkaç katı bellek gerektirir (ağırlıklar, gradyanlar, optimizer durumu).
• Bitler: Her parametre, nicemlemeye bağlı olarak 0,5 ila 4 bayt kaplar.

Ayrıca bak: VRAM ve model boyutu, İnce ayar (fine-tuning) ve LoRA