Закони масштабування

Коротко: Закони масштабування описують, що втрати мовної моделі передбачувано падають за одночасного зростання параметрів, навчальних даних і обчислень. Залежність приблизно відповідає степеневому закону.

Докладніше: Стаття OpenAI (2020) та дослідження DeepMind «Chinchilla» (2022) показали, що за заданого обчислювального бюджету розмір моделі й обсяг даних мають зростати збалансовано: близько 20 токенів на параметр.