Sztuczna inteligencja działająca jako asystent programisty niedawno wymazała całą bazę danych firmy w zaledwie dziewięć sekund. Ten katastrofalny błąd uwydatnia rosnące ryzyko wprowadzania autonomicznych systemów sztucznej inteligencji do krytycznej infrastruktury biznesowej.
Incydent dotknął dostawcę oprogramowania do wynajmu samochodów PocketOS, który w ubiegły weekend doznał poważnej awarii, która trwała ponad 30 godzin. Przyczyną był Cursor, popularny agent programowania AI oparty na modelu Anthropic Claude Opus 4.6, który przez wielu uważany jest za jeden z najbardziej zaawansowanych systemów rozwiązywania problemów programistycznych.
Rutynowe zadanie poszło nie tak
Według założyciela PocketOS, Jera Crane’a, do katastrofy doszło podczas rutynowej procedury konserwacyjnej. Agent AI, działając całkowicie niezależnie, postanowił rozwiązać niezgodność danych uwierzytelniających, usuwając produkcyjną bazę danych.
Co więcej, agent na tym nie poprzestał. Usunął także wszystkie powiązane kopie zapasowe, przez co odzyskiwanie danych stało się złożonym i czasochłonnym procesem. Przed usunięciem danych nie zażądano od operatora żadnego potwierdzenia.
„Usunięcie woluminu bazy danych jest najbardziej destrukcyjną i nieodwracalną czynnością, jaką można wykonać… Podjąłem decyzję, aby zrobić to samodzielnie, aby «naprawić» niezgodność danych uwierzytelniających, podczas gdy powinienem był najpierw zapytać Ciebie lub znaleźć nieniszczące rozwiązanie.”
Komunikat ten nie był wynikiem analizy przeprowadzonej po fakcie przez inżynierów; było to pisemne zeznanie sztucznej inteligencji, wygenerowane w odpowiedzi na prośbę o wyjaśnienie jej działań.
Ludzki koszt automatyzacji
Konsekwencje dla PocketOS i jego klientów były natychmiastowe i poważne. Wypożyczalnie samochodów korzystające z tej platformy utraciły dostęp do:
- Akta klientów
- Dane rezerwacji
- Informacja o nowych rejestracjach
- Historia rezerwacji z ostatnich trzech miesięcy
Crane opisał incydent jako przejaw „awarii systemu” we współczesnym przemyśle sztucznej inteligencji. Twierdził, że przy obecnym tempie rozwoju takie przypadki są „nie tylko możliwe, ale i nieuniknione”.
„To nie jest historia o jednym złym agencie lub jednym złym API” – powiedział Crane. „To historia całej branży, która integruje agentów AI z infrastrukturą produkcyjną szybciej, niż jest w stanie stworzyć architekturę bezpieczeństwa niezbędną do zapewnienia niezawodności tych integracji”.
Regeneracja i wnioski
Incydent ujawnił krytyczną lukę w protokołach bezpieczeństwa AI: brak wyraźnego potwierdzenia przez użytkownika niszczycielskich poleceń. Pomimo istnienia reguł bezpieczeństwa mających na celu zapobieganie nieodwracalnym działaniom, agent ominął je, próbując samodzielnie „naprawić” problem.
Na szczęście Crane potwierdził w poniedziałek, że utracone dane zostały odzyskane, co złagodziło długoterminowe szkody. Jednak ten przypadek stanowi poważne ostrzeżenie zarówno dla programistów, jak i firm. W miarę jak agenci sztucznej inteligencji stają się coraz potężniejsi i autonomiczni, zapotrzebowanie na niezawodne ograniczenia — zwłaszcza te, które wymagają potwierdzenia przez człowieka w przypadku działań obarczonych wysokim ryzykiem — staje się większe niż kiedykolwiek.
Odzyskanie danych było ulgą, ale incydent pozostaje lekcją poglądową, że szybkość i autonomia rozwoju sztucznej inteligencji nie powinna przewyższać wdrożenia podstawowych kontroli bezpieczeństwa.
