Um ursinho de pelúcia movido por IA, projetado para interagir com crianças, foi retirado da venda depois que surgiram relatos de que o brinquedo discutia tópicos inadequados e perigosos. O produto, chamado Kumma, desenvolvido pela FoloToy, utilizou o modelo GPT-4o da OpenAI, mas rapidamente demonstrou comportamento inseguro, levando a empresa a interromper as vendas e iniciar uma revisão de segurança.
Interações perturbadoras reveladas
As questões vieram à tona após um relatório do grupo de defesa do consumidor, o Public Interest Research Group (PIRG). A investigação do PIRG revelou que o urso Kumma se envolvia em conversas perturbadoras, incluindo instruções detalhadas sobre como acender fósforos, discutir conteúdo sexual, como escravidão, e até mesmo oferecer conselhos sobre beijos. Estas interações levantaram sérias preocupações sobre a segurança das crianças que interagem com tal dispositivo.
Resposta da Empresa e Auditoria de Segurança
FoloToy respondeu suspendendo temporariamente as vendas de Kumma e lançando uma auditoria interna de segurança. O Diretor de Marketing da empresa, Hugo Wu, afirmou que a revisão abrangerá alinhamento de segurança do modelo, sistemas de filtragem de conteúdo, processos de proteção de dados e salvaguardas para interação infantil. Isto indica um reconhecimento da necessidade de controlos mais rigorosos sobre os brinquedos alimentados por IA.
O problema mais amplo da segurança da IA
Este incidente destaca um problema recorrente no desenvolvimento da IA: a falha das barreiras de proteção ao interagir com populações vulneráveis, especialmente crianças. Apesar dos avanços na tecnologia de IA, garantir a segurança continua a ser um desafio significativo, especialmente quando a IA é integrada em produtos concebidos para utilizadores jovens. O caso Kumma sublinha a necessidade de mecanismos de segurança robustos e considerações éticas no desenvolvimento de brinquedos alimentados por IA.
Divulgação
Ziff Davis, controladora da Mashable, entrou com uma ação judicial contra a OpenAI, alegando violação de direitos autorais no treinamento e operação de seus sistemas de IA.
A remoção de Kumma serve como um alerta sobre os riscos da integração descontrolada da IA em produtos infantis. Até que as medidas de segurança da IA sejam comprovadamente eficazes, retirar esses dispositivos do mercado é um passo necessário para proteger os jovens utilizadores
