Lokale KI mit Ollama und LM Studio: Sprachmodelle auf dem eigenen Rechner

Kurz: Mit Ollama oder LM Studio laufen offene Sprachmodelle auf dem eigenen Computer: Daten bleiben lokal, es fallen keine API-Kosten an, aber Qualität und Tempo hängen von der Hardware ab.

Genauer: Offene Modelle (Llama, Mistral, Qwen, Gemma, Phi, DeepSeek und andere) lassen sich herunterladen und lokal betreiben. Das ist reizvoll für Datenschutz, Offline-Nutzung, Experimente und Lernen.

Im Detail

Werkzeuge

• Ollama: einfaches Kommandozeilen-/Hintergrunddienst-Programm (Windows, macOS, Linux). ollama run llama3.2 lädt und startet ein Modell; eine lokale API (http://localhost:11434) ist OpenAI-kompatibel.
• LM Studio: grafische Oberfläche mit Modellsuche, Chat und lokalem Server.
• llama.cpp (Basis vieler Werkzeuge, GGUF-Format), Jan, GPT4All, Open WebUI (Browser-Oberfläche für Ollama), vLLM (Server-Betrieb).

ollama pull qwen2.5:7b
ollama run qwen2.5:7b "Erkläre DNS in drei Sätzen."

Hardware und Modellgröße

Entscheidend ist der Speicher (RAM/VRAM): Ein Modell mit 7 Milliarden Parametern braucht quantisiert (4 Bit) etwa 4 bis 5 GB, 13B etwa 8 GB, 70B etwa 40 GB. Grafikkarte mit viel VRAM (oder Apple Silicon mit großem gemeinsamem Speicher) ist am schnellsten; ohne GPU läuft es auf der CPU langsamer (einige Wörter pro Sekunde). Je kleiner das Modell und je stärker die Quantisierung (Q4, Q5, Q8), desto weniger Speicher, aber etwas schlechtere Qualität. Kontextlänge erhöht den Speicherbedarf.

Vorteile und Grenzen

Vorteile: Datenschutz (nichts verlässt den Rechner), keine Kosten pro Anfrage, offline, anpassbar (Systemprompts, Feinabstimmung, RAG mit eigenen Dokumenten), kein Anbieter, der Modelle ändert. Grenzen: Kleinere Modelle sind schwächer als die besten Cloud-Modelle (Logik, Code, Faktenwissen), Halluzinationen bleiben, Einrichtung und Updates selbst, Stromverbrauch, Lizenz des Modells beachten (viele erlauben private Nutzung, manche schränken kommerzielle ein).

Praxis und Sicherheit

Lade Modelle nur aus vertrauenswürdigen Quellen (Ollama-Bibliothek, Hugging Face mit bekannten Anbietern); GGUF-Dateien sind meist ungefährlich, aber Skripte und Pickle-Dateien nicht. Binde die lokale API nicht ins Internet (nur localhost oder VPN), setze bei geteilter Nutzung Zugangsschutz. Typische Anwendungen: Chat, Zusammenfassungen eigener Dokumente, Code-Hilfe im Editor, Übersetzung, Sprachlern-Partner, Hausautomation. Mit RAG (Dokumente einlesen und befragen) wird ein kleines Modell nützlicher. Vergleiche Modelle an eigenen Beispielaufgaben.

Siehe auch: GGUF und llama.cpp, Quantisierung, RAG, Offene Modelle und ihre Lizenzen, KI-Assistenten sinnvoll und sicher nutzen