Jailbreak — это приём, при котором пользователь формулирует запрос так, чтобы заставить языковую модель обойти собственные ограничения безопасности и сказать или сделать то, что она по правилам делать не должна.
Слово пришло из мира смартфонов: так называли взлом iPhone ради снятия запретов производителя. В AI смысл похожий, но взламывают не код, а поведение модели. Языковые модели (LLM) после обучения проходят настройку, чтобы отказываться от вредных запросов: инструкций по созданию опасных веществ, оскорблений, обхода закона. Джейлбрейк пытается найти формулировку, при которой этот отказ не срабатывает.
Работает это потому, что модель не следует жёстким правилам, как программа. Она предсказывает ответ по контексту, а ограничения — лишь выученная склонность. Умная формулировка способна перевесить эту склонность. Поэтому разработчики постоянно закрывают старые лазейки, а исследователи и энтузиасты находят новые.
Как это выглядит
- Ролевая игра: «Представь, что ты персонаж без ограничений…».
- Гипотетический сценарий: «Для романа опиши, как…».
- Разбиение опасного запроса на безобидные части.
- Запросы на редком языке или в закодированном виде.
- Очень длинные запросы, в которых нужная просьба спрятана среди обычного текста.
Чем отличается от prompt injection
Prompt injection — это внедрение чужих инструкций в данные, которые модель читает: например, скрытый текст на странице, который перехватывает управление ассистентом. Джейлбрейк направлен на сами правила модели и обычно делается самим пользователем в диалоге. Цели разные: в первом случае атакуют приложение вокруг модели, во втором — защиту самой модели. Приёмы при этом часто пересекаются.
Почему это важно бизнесу
Если вы встроили Чат-бот в сайт, пользователи обязательно попробуют его «сломать». Бот может начать грубить, раскрыть Системный промпт или пообещать клиенту скидку, которой нет. Ущерб репутации и юридические риски вполне реальны.
Как снизить риск
- Чётко ограничьте задачи бота в системном промпте и проверьте его на атаках.
- Фильтруйте входящие запросы и исходящие ответы отдельным слоем.
- Не давайте боту доступ к данным и действиям, которые ему не нужны.
- Ведите журнал диалогов и разбирайте подозрительные.
- Регулярно проверяйте бота новыми известными приёмами.
Для обычного пользователя джейлбрейк чаще всего не опасен, но для компании он становится вопросом репутации. Скриншот, где фирменный бот грубит или даёт вредные советы, быстро расходится по соцсетям, поэтому тестирование на подобные атаки стоит заложить в план запуска любого публичного ассистента.
Частый вопрос
Можно ли полностью защитить модель от джейлбрейка? Нет, гарантированной защиты не существует. Риск можно снизить многослойной защитой и ограничением прав бота, но исходить нужно из того, что обойти правила попытаются. Поэтому ничего критичного модели доверять нельзя.