Edge-KI: Modelle auf Handy und Raspberry Pi

Kurz: Edge-KI heißt, dass ein Modell direkt auf dem Gerät läuft (Handy, Laptop, Raspberry Pi) statt in der Cloud. Das spart Wartezeit und schützt Daten, verlangt aber kleine, geschickt verkleinerte Modelle.

Warum lokal?

• Datenschutz: Eingaben verlassen das Gerät nicht.
• Offline nutzbar und ohne Wartezeit durch das Netz.
• Keine laufenden Kosten pro Anfrage.

Wie große Modelle klein werden

1. Kleinere Modelle von vornherein (1 bis 8 Milliarden Parameter).
2. Quantisierung: Gewichte statt mit 16 Bit nur mit 4 oder 8 Bit speichern. Ein 7-Milliarden-Modell braucht dann etwa 4 GB statt 14 GB. Siehe Quantisierung.
3. Destillation und Pruning: Modell-Verkleinerung: Destillation und Pruning.
4. Effiziente Programme: Laufzeiten wie llama.cpp oder Ollama nutzen die CPU und GPU des Geräts gut.

Realistische Erwartungen

• Auf einem Raspberry Pi laufen kleine Modelle langsam (wenige Wörter pro Sekunde).
• Moderne Handys haben eine NPU (KI-Chips im Vergleich: GPU, TPU, NPU und Co.) für Foto- und Sprachaufgaben.
• Der wichtigste Engpass ist der Arbeitsspeicher: Das ganze Modell muss hineinpassen.
• Kleine Modelle machen mehr Fehler als große und sind bei langen Kontexten schwächer.

Siehe auch: Lange Kontexte: Techniken und Grenzen