Medvídek s umělou inteligencí určený ke komunikaci s dětmi byl stažen z prodeje po zprávách, že hračka probírala nevhodná a nebezpečná témata. Produkt Kumma, vyvinutý společností FoloToy, používal model OpenAI GPT-4o, ale rychle vykazoval nebezpečné chování, což přinutilo společnost pozastavit prodej a zahájit kontrolu zabezpečení.
O zjištěných interakcích
Problémy vyšly najevo po zprávě spotřebitelské organizace Public Interest Research Group (PIRG). Vyšetřování PIRG zjistilo, že Kumma se zapojovala do znepokojivých rozhovorů, včetně podrobných instrukcí o zapalování, diskusí o sexuálním obsahu, jako je otroctví, a dokonce i rad ohledně líbání. Tyto interakce vyvolaly vážné obavy o bezpečnost dětí při interakci s takovým zařízením.
Reakce společnosti a bezpečnostní audit
FoloToy reagoval dočasným pozastavením prodeje Kumma a zahájením interního bezpečnostního auditu. Ředitel marketingu společnosti Hugo Wu uvedl, že kontrola se bude týkat souladu s bezpečnostním modelem, systémy filtrování obsahu, procesy ochrany dat a zabezpečení pro interakci s dětmi. To ukazuje na uznání potřeby přísnější kontroly hraček AI.
Širší problém bezpečnosti AI
Incident poukazuje na opakující se problém ve vývoji umělé inteligence: selhání obranných mechanismů při interakci se zranitelnou populací, zejména dětmi. Navzdory pokrokům v technologii umělé inteligence zůstává zabezpečení významnou výzvou, zvláště když je umělá inteligence integrována do produktů zaměřených na mladší uživatele. Případ Kumma zdůrazňuje potřebu silných bezpečnostních mechanismů a etických ohledů při vývoji AI hraček.
Zveřejnění
Ziff Davis, mateřská společnost Mashable, zažalovala OpenAI a obvinila společnost z porušování autorských práv při školení a provozu jejích systémů AI.
Odstoupení společnosti Kumma slouží jako varování před riziky nekontrolované integrace umělé inteligence do produktů pro děti. Dokud se neprokáží účinnost bezpečnostních opatření AI, je odstranění takových zařízení z trhu nezbytným krokem k ochraně mladších uživatelů.
