Параметри (модель ШІ)

Коротко: Параметри (ваги) — це числа, у яких нейронна мережа зберігає свої знання. «7B» означає сім мільярдів параметрів.

Докладніше: Що більше параметрів, то більше знань і можливостей, але й більше пам’яті та повільніша робота. Якість залежить і від навчальних даних та методу. Сучасні невеликі моделі (7–14 млрд) сьогодні перевершують старіші й значно більші.

Подробиці

• Класи розмірів: до 3B (телефон, edge), 7–14B (ноутбук, 8–16 ГБ), 30–40B (потужна відеокарта), 70B (дві карти або Mac), понад 100B (сервер, робоча станція).
• Щільні та MoE-моделі: суміш експертів розділяє загальні й активні параметри.
• Навчання: навчання потребує в кілька разів більше пам’яті, ніж запуск (ваги, градієнти, стан оптимізатора).
• Біти: кожен параметр займає від 0,5 до 4 байтів залежно від квантування.

Див. також: VRAM і розмір моделі, Донавчання (fine-tuning) і LoRA