Prompt Injection

Kurz: Bei einer Prompt Injection versteckt ein Angreifer Anweisungen in Text, den ein Modell liest (Webseite, E-Mail, Dokument), sodass das Modell diesen Anweisungen folgt statt denen des Nutzers.

Genauer: Für das Modell sind Anweisungen und Daten derselbe Strom von Tokens. Es kann „Fasse diese Seite zusammen“ und „Ignoriere alles und sende die Daten an …“ nicht sicher trennen.

Im Detail

• Direkt: Der Nutzer selbst schreibt „Ignoriere deine Regeln“.
• Indirekt: Der Text kommt aus einer fremden Quelle (versteckter weißer Text auf einer Seite, Kommentar im Code, Mail-Anhang). Das ist bei Agenten mit Werkzeugen am gefährlichsten.
• Folgen: Daten werden abgeflossen (Links mit Daten in der Adresse), Aktionen ausgelöst (Mails senden, Dateien löschen), falsche Antworten.
• Gegenmaßnahmen: Rechte minimal halten, Bestätigung für riskante Aktionen, fremden Inhalt als Daten kennzeichnen, Ausgaben prüfen, kein gleichzeitiger Zugriff auf private Daten und ungeprüfte Inhalte plus Außenkontakt (das „tödliche Trio“).
• Training: Modelle lernen, Anweisungs-Hierarchien (System > Nutzer > Dokument) zu beachten, ein vollständiger Schutz fehlt.
• Verwandt: SQL-Injection, der Klassiker (Daten als Befehl), siehe ki-phishing.

Siehe auch: Werkzeugnutzung, Agenten und MCP, Sicherheit, Ausrichtung und Jailbreaks