Законы масштабирования

Коротко: Законы масштабирования описывают, что потери языковой модели предсказуемо падают при одновременном росте параметров, обучающих данных и вычислений. Зависимость примерно следует степенному закону.

Подробнее: Статья OpenAI (2020) и исследование DeepMind «Chinchilla» (2022) показали, что при заданном вычислительном бюджете размер модели и объём данных должны расти сбалансированно: около 20 токенов на параметр.