Grenzen von KI: Was Modelle nicht können

Kurz: Sprachmodelle sind mächtig, aber nicht allwissend: Sie erfinden manchmal Fakten, kennen nichts nach ihrem Wissens-Stichtag, rechnen unzuverlässig und verstehen die Welt nur über Text und Bilder.

Genauer: Das Modell sagt das wahrscheinlich Passende voraus. Wahrscheinlich und wahr sind nicht dasselbe. Das ist die Quelle vieler Fehler.

Im Detail

• Halluzination: Erfundene Quellen, Zahlen, Gesetze. Gegenmittel: Belege verlangen, RAG, nachprüfen, siehe halluzination-(ki).
• Wissens-Stichtag: Ereignisse danach kennt es nur mit Suchwerkzeug.
• Rechnen und Zählen: Mehrstellige Rechnung und Buchstaben zählen sind fehleranfällig (Tokens). Besser Code ausführen lassen.
• Kontext: Bei sehr langem Kontext werden Informationen in der Mitte schlechter genutzt („Lost in the Middle“).
• Kein echtes Gedächtnis: Zwischen Gesprächen gibt es keins, es sei denn, ein System speichert Notizen.
• Schmeichelei: Neigung, dem Nutzer zuzustimmen.
• Unsichere Selbsteinschätzung: Das Modell kann sehr überzeugt falsch liegen.
• Verständnis: Ob Modelle „verstehen“, ist umstritten. Praktisch gilt: Beeindruckend in vielen Aufgaben, unzuverlässig an Rändern.
• Gute Nutzung: Als Assistent mit Prüfung, nicht als Wahrheitsquelle. Bei Gesundheit, Recht und Finanzen Fachleute fragen, siehe ki-assistenten-sinnvoll-und-sicher-nutzen.

Siehe auch: halluzination-(ki), Verzerrung, Fairness und Datenqualität