MLOps: Modelle ausliefern, überwachen und aktuell halten

Kurz: MLOps ist das Handwerk, Modelle zuverlässig in den Betrieb zu bringen und dort gesund zu halten. Ein Modell im Notebook ist ein Anfang, kein fertiges Produkt.

Der Lebenszyklus

1. Daten: versionieren, prüfen, reproduzierbar bereitstellen.
2. Training: automatisiert, mit festgehaltenen Einstellungen und Ergebnissen (Experiment-Tracking).
3. Test: auf Testdaten und auf Fälle, die früher schon Fehler gemacht haben, siehe KI-Evaluierung: Tests, Benchmarks und LLM als Richter.
4. Auslieferung: als Dienst hinter einer Schnittstelle, als Container (Podman und Docker im Vergleich) oder auf dem Gerät. Neue Versionen erst für wenige Nutzer (Canary), dann für alle, mit Rückweg.
5. Überwachung: Antwortzeit, Fehler, Kosten und vor allem die Qualität.
6. Neutraining: wenn sich Daten oder Welt ändern.

Drift

• Datendrift: Die Eingaben verändern sich (andere Kundschaft, neue Sensoren).
• Konzeptdrift: Der Zusammenhang selbst ändert sich (Betrug passt sich an).

Ohne Überwachung fällt die Qualität unbemerkt. Man vergleicht Verteilungen der Eingaben mit denen vom Training und misst Qualität, sobald die echten Ergebnisse bekannt sind.

Werkzeuge

MLflow (Tracking), DVC (Datenversionen), Feature Stores, Orchestrierung wie Airflow. Bei Sprachmodellen kommen Prompt-Versionen, Kostenkontrolle und Prompt-Caching und Kosten sparen dazu.

Siehe auch: Inferenz-Server: Batching, PagedAttention und vLLM