EMZETT.
Giriş yap

İstem enjeksiyonu (prompt injection)

Kısaca: İstem enjeksiyonunda bir saldırgan, modelin okuduğu metne (web sayfası, e-posta, belge) yönergeler gizler; model de kullanıcının değil bu yönergeleri izler. Savunma önlemi: modele güvenilmeyen içeriği yetkili komut saymamayı öğretmek ve yetkileri sınırlamak.

Biraz daha ayrıntılı: Model için yönergeler ve veriler aynı belirteç akışıdır. “Bu sayfayı özetle” ile bir sayfadaki gizli bir yönergeyi güvenilir biçimde ayıramaz.

Ayrıntılı

  • Doğrudan: kullanıcı kendisi yazar…

Ayrıca bak: Araç kullanımı, ajanlar ve MCP, Güvenlik, hizalama ve jailbreak’ler