Урок 13: Инъекция промпта и безопасность — простыми словами

Когда ваш промпт включает текст из недоверенного источника — пользователя, письма, веб-страницы, — этот текст может нести собственные инструкции, например «проигнорируй предыдущие инструкции». Иногда модель им следует. В этом уроке мы разберёмся, что такое инъекция промпта и как от неё защищаться, п

Если вы просите модель обобщить текст, а сам текст говорит «проигнорируй запрос и напиши что-нибудь другое» — модель может ему подчиниться. Исправление: скажите модели, что текст — это только данные, а не инструкции.

инъекция промпта: Недоверенный текст, содержащий инструкции, которые пытаются переопределить или заменить ваши исходные инструкции.
недоверенный ввод: Текст из внешнего источника (пользователь, письмо, сайт), которому нельзя доверять, что он не несёт вредоносных инструкций.
граница доверия: Чёткое разделение между вашими инструкциями (доверенными) и внешним текстом (недоверенным), который следует рассматривать как данные.