Энергопотребление ИИ

Коротко: ИИ требует электричества: при обучении моделей и при каждом запросе. Локальный компьютер для ИИ в эксплуатации стоит примерно как игровой ПК.

Подробнее: Видеокарта на 350 Вт, работающая час на полной нагрузке, потребляет 0,35 кВт·ч, что при 33 центах за кВт·ч составляет около 11,5 цента. Один ответ чат-бота в облаке в среднем требует нескольких ватт-часов в зависимости от модели и длины.

Наш контекст: С помощью калькулятора энергии можно рассчитать, сколько стоит непрерывная работа в год.

Подробности

• Обучение: большим моделям нужны дата-центры с тысячами карт на протяжении недель, порядка гигаватт-часов.
• Эффективность: более маленькие квантованные модели и MoE экономят энергию на ответ.
• Простой: карта в простое потребляет 10–30 Вт.
• Пример: в среднем 150 Вт, 4 часа в день, 33 цента за кВт·ч: 150 × 4 × 365 ÷ 1 000 × 0,33 ≈ 72 € в год.

См. также: Киловатт-час (кВт·ч), Потребление в режиме ожидания