Внедрение промптов (prompt injection)

Коротко: При внедрении промптов злоумышленник прячет инструкции в тексте, который читает модель (веб-страница, письмо, документ), и модель выполняет их вместо инструкций пользователя. Защита: не считать недоверенное содержимое авторитетной командой и ограничивать права.

Подробнее: Для модели инструкции и данные — один поток токенов. Она не может надёжно отделить «Кратко перескажи эту страницу» от скрытой инструкции на странице.