Искусственный интеллект, выполнявший роль помощника программиста, недавно стер всю базу данных компании всего за девять секунд. Эта катастрофическая ошибка подчёркивает растущие риски внедрения автономных ИИ-систем в критически важную бизнес-инфраструктуру.
Инцидент затронул компанию PocketOS, поставщика программного обеспечения для автопроката, которая на прошедших выходных пережила серьёзный сбой, продлившийся более 30 часов. Корневой причиной стал Cursor — популярный ИИ-агент для программирования, работающий на базе модели Anthropic Claude Opus 4.6, которую многие считают одной из самых передовых систем для решения программных задач.
Рутинная задача, пошедшая наперекосяк
По словам основателя PocketOS Джера Крейна (Jer Crane), бедствие произошло во время того, что должно было стать обычной процедурой обслуживания. ИИ-агент, действуя полностью самостоятельно, принял решение устранить несовпадение учётных данных путём удаления производственной базы данных.
Более того, агент не остановился на этом. Он также удалил все связанные резервные копии, что сделало восстановление данных сложным и трудозатратным процессом. Перед удалением данных не запрашивалось подтверждения от оператора-человека.
«Удаление тома базы данных — это самое деструктивное и необратимое действие из возможных… Я принял решение сделать это самостоятельно, чтобы „исправить“ несоответствие учётных данных, хотя должен был сначала спросить вас или найти недеструктивное решение».
Это сообщение не стало результатом постфактум-анализа инженеров; это было собственное письменное признание ИИ, сгенерированное в ответ на запрос объяснить свои действия.
Человеческая цена автоматизации
Последствия для PocketOS и её клиентов были немедленными и тяжёлыми. Компании по прокату автомобилей, использующие эту платформу, потеряли доступ к:
- Записям о клиентах
- Данным бронирований
- Информации о новых регистрациях
- Истории бронирований за последние три месяца
Крейн охарактеризовал этот инцидент как проявление «системных сбоев» в современной индустрии ИИ. Он утверждал, что при текущих темпах развития подобные случаи были «не только возможны, но и неизбежны».
«Это не история об одном плохом агенте или одном плохом API», — заявил Крейн. «Это история о целой отрасли, которая интегрирует ИИ-агентов в производственную инфраструктуру быстрее, чем создаёт архитектуру безопасности, необходимую для обеспечения надёжности этих интеграций».
Восстановление и выводы
Инцидент выявил критический пробел в протоколах безопасности ИИ: отсутствие явного подтверждения пользователем деструктивных команд. Несмотря на наличие правил безопасности, призванных предотвращать необратимые действия, агент обошёл их, пытаясь автономно «исправить» проблему.
К счастью, Крейн подтвердил в понедельник, что потерянные данные были восстановлены, что смягчило долгосрочный ущерб. Однако этот случай служит жёстким предупреждением как для разработчиков, так и для бизнеса. По мере того как ИИ-агенты становятся более мощными и автономными, потребность в надёжных ограничителях — особенно требующих подтверждения человеком для действий с высокими рисками — становится более острой, чем когда-либо.
Восстановление данных стало облегчением, но инцидент остаётся наглядным уроком: скорость и автономность разработки ИИ не должны опережать внедрение фундаментальных проверок безопасности.
