NPU і прискорювачі ШІ

Коротко: NPU (neural processing unit) — це ділянка чипа, що особливо ефективно виконує обчислення нейронних мереж. Він є в телефонах і нових процесорах для ноутбуків.

Докладніше: NPU розраховані на низьке енергоспоживання, а їхню продуктивність указують у TOPS (трильйонів операцій за секунду, зазвичай INT8). Вони ідеальні для невеликих моделей, ефектів камери та фонових завдань. Для великих мовних моделей вузьким місцем зазвичай є пропускна здатність пам’яті, а не значення TOPS.

Подробиці

• Приклади: Apple Neural Engine, Qualcomm Hexagon, NPU Intel/AMD, Google TPU (у дата-центрах).
• Copilot+ PC: вимагають щонайменше 40 TOPS.
• GPU і NPU: GPU гнучкіші та швидші, NPU економніші.
• Маркетингові цифри: значення TOPS порівнянні лише за однакової точності.

Див. також: Пропускна здатність пам’яті, Формати чисел: FP32, FP16, BF16 і FP8