Впровадження промптів (prompt injection)

Коротко: За впровадження промптів зловмисник ховає інструкції в тексті, який читає модель (вебсторінка, лист, документ), і модель виконує їх замість інструкцій користувача. Захист: не вважати недовірений вміст авторитетною командою й обмежувати права.

Докладніше: Для моделі інструкції та дані — один потік токенів. Вона не може надійно відокремити «Стисло перекажи цю сторінку» від прихованої інструкції на сторінці.