NPU und KI-Beschleuniger

Kurz: Eine NPU (Neural Processing Unit) ist ein Chipbereich, der Rechnungen für neuronale Netze besonders effizient ausführt. Sie steckt in Handys und neuen Laptop-Prozessoren.

Genauer: NPUs sind auf wenig Stromverbrauch ausgelegt und geben ihre Leistung in TOPS an (Billionen Operationen pro Sekunde, meist INT8). Für kleine Modelle, Kamera-Effekte und Hintergrund-Aufgaben sind sie ideal. Für große Sprachmodelle ist meist die Speicherbandbreite der Engpass, nicht die TOPS-Zahl.

Im Detail

• Beispiele: Apple Neural Engine, Qualcomm Hexagon, Intel/AMD-NPUs, Google TPU (im Rechenzentrum).
• Copilot+-PCs: Verlangen mindestens 40 TOPS.
• GPU vs. NPU: GPUs sind flexibler und schneller, NPUs sparsamer.
• Marketingzahlen: TOPS-Angaben sind nur mit gleicher Genauigkeit vergleichbar.

Siehe auch: Speicherbandbreite, Zahlenformate: FP32, FP16, BF16 und FP8