EMZETT.Glossar
1620 Begriffe aus IT, Netzwerk, Sicherheit und Programmierung: erst kurz erklärt, dann ausführlicher. Suche nach einem Wort oder wähle einen Buchstaben.
1 Treffer
NPU und KI-Beschleuniger Eine NPU (Neural Processing Unit) ist ein Chipbereich, der Rechnungen für neuronale Netze besonders effizient ausführt. Sie steckt in Handys und neuen Laptop-Prozessoren.
NPUs sind auf wenig Stromverbrauch ausgelegt und geben ihre Leistung in TOPS an (Billionen Operationen pro Sekunde, meist INT8). Für kleine Modelle, Kamera-Effekte und Hintergrund-Aufgaben sind sie ideal. Für große Sprachmodelle ist meist die Speicherbandbreite der Engpass, nicht die TOPS-Zahl.
Verwandt: Speicherbandbreite · Zahlenformate: FP32, FP16, BF16 und FP8
Ganzer Artikel im Wiki →