İstem enjeksiyonu (prompt injection)
Kısaca: İstem enjeksiyonunda bir saldırgan, modelin okuduğu metne (web sayfası, e-posta, belge) yönergeler gizler; model de kullanıcının değil bu yönergeleri izler. Savunma önlemi: modele güvenilmeyen içeriği yetkili komut saymamayı öğretmek ve yetkileri sınırlamak.
Biraz daha ayrıntılı: Model için yönergeler ve veriler aynı belirteç akışıdır. “Bu sayfayı özetle” ile bir sayfadaki gizli bir yönergeyi güvenilir biçimde ayıramaz.
Ayrıntılı
- Doğrudan: kullanıcı kendisi yazar…
Ayrıca bak: Araç kullanımı, ajanlar ve MCP, Güvenlik, hizalama ve jailbreak’ler