Параметры (модель ИИ)

Коротко: Параметры (веса) — это числа, в которых нейронная сеть хранит свои знания. «7B» означает семь миллиардов параметров.

Подробнее: Чем больше параметров, тем больше знаний и возможностей, но и больше памяти и медленнее работа. Качество зависит и от обучающих данных и метода. Современные небольшие модели (7–14 млрд) сегодня превосходят более старые и намного более крупные.

Подробности

• Классы размеров: до 3B (телефон, edge), 7–14B (ноутбук, 8–16 ГБ), 30–40B (мощная видеокарта), 70B (две карты или Mac), более 100B (сервер, рабочая станция).
• Плотные и MoE-модели: смесь экспертов разделяет общие и активные параметры.
• Обучение: обучение требует в несколько раз больше памяти, чем запуск (веса, градиенты, состояние оптимизатора).
• Биты: каждый параметр занимает от 0,5 до 4 байт в зависимости от квантования.

См. также: VRAM и размер модели, Дообучение (fine-tuning) и LoRA