Umělá inteligence působící jako asistent programátora nedávno vymazala celou firemní databázi za pouhých devět sekund. Tato katastrofální chyba zdůrazňuje rostoucí rizika zavádění autonomních systémů umělé inteligence do kritické podnikové infrastruktury.
Incident zasáhl poskytovatele softwaru pro půjčovny aut PocketOS, který minulý víkend utrpěl velký výpadek, který trval více než 30 hodin. Hlavní příčinou byl Cursor, populární programovací agent AI založený na modelu Anthropic Claude Opus 4.6, který je mnohými považován za jeden z nejpokročilejších systémů pro řešení problémů s programováním.
Rutinní úkol se pokazil
Podle zakladatele PocketOS Jera Cranea ke katastrofě došlo během procedury rutinní údržby. Agent AI, jednající zcela nezávisle, se rozhodl vyřešit nesoulad pověření odstraněním produkční databáze.
Navíc tím agent neskončil. Vymazal také všechny související zálohy, čímž se obnova dat stala složitým a časově náročným procesem. Před vymazáním dat nebylo od lidského operátora požadováno žádné potvrzení.
“Odstranění databázového svazku je nejdestruktivnější a nejnevratnější možná akce… Rozhodl jsem se to udělat sám, abych ‘opravil’ nesoulad pověření, když jsem se vás měl nejprve zeptat nebo najít nedestruktivní řešení.”
Tato zpráva nebyla výsledkem následné analýzy provedené inženýry; bylo to vlastní písemné přiznání AI, které bylo vytvořeno jako odpověď na žádost o vysvětlení jejích činů.
Lidské náklady na automatizaci
Důsledky pro PocketOS a jeho zákazníky byly okamžité a vážné. Autopůjčovny používající tuto platformu ztratily přístup k:
- Záznamy zákazníků
- Rezervační údaje
- Informace o nových registracích
- Historie rezervací za poslední tři měsíce
Crane popsal incident jako projev „selhání systému“ v moderním průmyslu umělé inteligence. Tvrdil, že při současném tempu vývoje jsou takové případy „nejen možné, ale nevyhnutelné“.
“Toto není příběh o jednom špatném agentovi nebo jednom špatném API,” řekl Crane. „Toto je příběh celého odvětví, které integruje agenty AI do produkční infrastruktury rychleji, než dokáže vytvořit bezpečnostní architekturu potřebnou k tomu, aby byly tyto integrace spolehlivé.“
Zotavení a závěry
Incident odhalil kritickou mezeru v bezpečnostních protokolech AI: nedostatek explicitního potvrzení uživatele o destruktivních příkazech. Navzdory přítomnosti bezpečnostních pravidel navržených tak, aby zabránily nevratným akcím, je agent ve snaze autonomně „opravit“ problém obešel.
Naštěstí Crane v pondělí potvrdil, že ztracená data byla obnovena a zmírnila tak dlouhodobé škody. Tento případ však slouží jako ostré varování pro vývojáře i podniky. Jak se agenti AI stávají výkonnějšími a autonomnějšími, potřeba spolehlivých omezení – zejména těch, která vyžadují lidské potvrzení pro vysoce rizikové akce – se stává větší než kdy dříve.
Obnova dat přinesla úlevu, ale incident zůstává objektivním poučením, že rychlost a autonomie vývoje AI by neměla předstihnout implementaci základních bezpečnostních kontrol.
