NPU и ускорители ИИ

Коротко: NPU (neural processing unit) — это область чипа, которая особенно эффективно выполняет вычисления нейронных сетей. Он есть в телефонах и новых процессорах для ноутбуков.

Подробнее: NPU рассчитаны на низкое энергопотребление, а их производительность указывают в TOPS (триллионов операций в секунду, обычно INT8). Они идеальны для небольших моделей, эффектов камеры и фоновых задач. Для больших языковых моделей узким местом обычно является пропускная способность памяти, а не значение TOPS.

Подробности

• Примеры: Apple Neural Engine, Qualcomm Hexagon, NPU Intel/AMD, Google TPU (в дата-центрах).
• Copilot+ PC: требуют не менее 40 TOPS.
• GPU и NPU: GPU гибче и быстрее, NPU экономнее.
• Маркетинговые цифры: значения TOPS сопоставимы только при одинаковой точности.

См. также: Пропускная способность памяти, Форматы чисел: FP32, FP16, BF16 и FP8