Енергоспоживання ШІ

Коротко: ШІ потребує електрики: під час навчання моделей і за кожним запитом. Локальний комп’ютер для ШІ в експлуатації коштує приблизно як ігровий ПК.

Докладніше: Відеокарта на 350 Вт, що працює годину на повному навантаженні, споживає 0,35 кВт·год, що за 33 центи за кВт·год становить близько 11,5 цента. Одна відповідь чат-бота в хмарі в середньому потребує кількох ват-годин залежно від моделі та довжини.

Наш контекст: За допомогою калькулятора енергії можна розрахувати, скільки коштує безперервна робота на рік.

Подробиці

• Навчання: великим моделям потрібні дата-центри з тисячами карт упродовж тижнів, порядку гігават-годин.
• Ефективність: менші квантовані моделі та MoE заощаджують енергію на відповідь.
• Простій: карта в простої споживає 10–30 Вт.
• Приклад: у середньому 150 Вт, 4 години на день, 33 центи за кВт·год: 150 × 4 × 365 ÷ 1 000 × 0,33 ≈ 72 € на рік.

Див. також: Кіловат-година (кВт·год), Споживання в режимі очікування