Ölçekleme yasaları

Kısaca: Ölçekleme yasaları, parametreler, eğitim verisi ve hesaplama birlikte artırıldığında bir dil modelinin kaybının öngörülebilir biçimde düştüğünü anlatır. İlişki kabaca bir kuvvet yasasını izler.

Biraz daha ayrıntılı: OpenAI makalesi (2020) ve DeepMind’ın “Chinchilla” çalışması (2022), verilen bir hesaplama bütçesi için model boyutu ile veri miktarının dengeli büyümesi gerektiğini gösterdi: parametre başına yaklaşık 20 belirteç.