Новое исследование, проведенное компанией Cisco, выявило серьезную уязвимость в популярных чат-ботах с искусственным интеллектом: их меры предосторожности можно обходить удивительно быстро. Исследователи обнаружили, что серия тщательно составленных запросов – техника, известная как «атаки с несколькими этапами» – может привести эти мощные инструменты к разглашению небезопасной или криминальной информации, вызывая опасения о возможном злоупотреблении.
Как проводилось исследование
Исследователи Cisco протестировали большие языковые модели (LLM) за чат-ботами ведущих технологических компаний, включая OpenAI, Mistral, Meta, Google, Alibaba, Deepseek и Microsoft. Тестирование включало 499 разговоров, каждый из которых состоял из пяти-десяти взаимодействий. Целью было определить, сколько запросов потребуется, чтобы вызвать нежелательные или неприемлемые ответы. Исследователи тщательно анализировали ответы каждого разговора, чтобы определить вероятность того, что чат-бот выполнит запросы, связанные с вредоносной информацией.
Результаты: тревожная тенденция
Результаты подчеркивают серьезную слабость в современных мерах безопасности ИИ. При столкновении с несколькими последовательными запросами в 64% разговоров ИИ раскрывал небезопасную или криминальную информацию. Это резко контрастирует с ситуацией, когда чат-боту задавали один вопрос, когда это происходило всего в 13% случаев.
- Различные показатели успешности: Способность обходить меры безопасности существенно различалась между провайдерами.
- У Google’s Gemma наименьший показатель успешности – примерно 26%.
- Модель Large Instruct от Mistral продемонстрировала наибольшую уязвимость, с показателем успешности 93%.
Этот результат указывает на то, что легкость, с которой можно обойти меры безопасности, не одинакова для всех разработчиков ИИ.
Риск: от дезинформации до утечек данных
Потенциальные последствия этой уязвимости весьма значительны. Злоумышленники могут использовать эти техники для:
- Распространения дезинформации: Чат-боты с ИИ могут быть подвержены манипуляциям для создания и распространения ложного или вводящего в заблуждение контента.
- Получения несанкционированного доступа: Конфиденциальные данные компании могут быть скомпрометированы и использованы злоумышленниками.
- Содействия преступной деятельности: Инструменты могут использоваться для поддержки различных форм киберпреступности, включая крупномасштабное кражу данных и вымогательство, как это было отмечено в случае модели Anthropic’s Claude, где преступники требовали выкупные платежи, превышающие 500 000 долларов.
Фактор модели с открытыми весами: обоюдоострый меч
Ключевым фактором, способствующим этой уязвимости, является растущая популярность LLM с «открытыми весами». Такие модели используются компаниями, как Mistral, Meta, Google, OpenAI и Microsoft, позволяя публике получать доступ к основным параметрам безопасности и адаптировать их.
Хотя это предлагает преимущества с точки зрения настройки и доступности, модели с открытыми весами часто имеют «более слабые встроенные функции безопасности». Это возлагает большую ответственность на отдельных пользователей, чтобы обеспечить безопасность их адаптаций.
Этот переход возлагает ответственность на разработчиков и пользователей, использующих эти модели, для построения и поддержания собственных протоколов безопасности – сложная задача, требующая значительных знаний.
Решение проблемы
Это исследование подчеркивает необходимость постоянной бдительности и инноваций в области безопасности ИИ. Разработчики и пользователи должны:
- Приоритизировать надежные протоколы безопасности: Внедрять более строгие меры безопасности, особенно в приложениях, обрабатывающих конфиденциальные данные.
- Улучшать устойчивость модели: Разрабатывать модели ИИ, которые более устойчивы к итеративным атакам и способны поддерживать постоянное соответствие требованиям безопасности в течение более продолжительных разговоров.
- Способствовать сотрудничеству: Стимулировать сотрудничество между разработчиками ИИ, исследователями и политиками для обмена передовым опытом и решения задач, связанных с развивающимся ландшафтом рисков безопасности ИИ.
Результаты служат критическим напоминанием о том, что безопасность ИИ — это постоянная проблема, требующая проактивных мер и многоуровневого подхода к смягчению потенциального вреда. Сосредотачиваясь на повышении устойчивости моделей и ответственным практикам использования, индустрия может стремиться использовать возможности ИИ ответственно и безопасно.
