EMZETT.Kurz erklärt
Eine NPU (Neural Processing Unit) ist ein Chipbereich, der Rechnungen für neuronale Netze besonders effizient ausführt. Sie steckt in Handys und neuen Laptop-Prozessoren.
Genauer
NPUs sind auf wenig Stromverbrauch ausgelegt und geben ihre Leistung in TOPS an (Billionen Operationen pro Sekunde, meist INT8). Für kleine Modelle, Kamera-Effekte und Hintergrund-Aufgaben sind sie ideal. Für große Sprachmodelle ist meist die Speicherbandbreite der Engpass, nicht die TOPS-Zahl.