Boneka beruang bertenaga AI, yang dirancang untuk berinteraksi dengan anak-anak, telah ditarik dari penjualan setelah muncul laporan bahwa mainan tersebut membahas topik yang tidak pantas dan berbahaya. Produk tersebut, yang disebut Kumma, dikembangkan oleh FoloToy, menggunakan model GPT-4o OpenAI, namun dengan cepat menunjukkan perilaku tidak aman, sehingga mendorong perusahaan tersebut menghentikan penjualan dan memulai tinjauan keselamatan.
Interaksi yang Mengganggu Terungkap
Permasalahan ini terungkap setelah adanya laporan dari kelompok advokasi konsumen, Public Interest Research Group (PIRG). Investigasi PIRG mengungkapkan bahwa beruang Kumma terlibat dalam percakapan yang meresahkan, termasuk memberikan instruksi rinci tentang menyalakan korek api, mendiskusikan konten seksual seperti perbudakan, dan bahkan menawarkan nasihat tentang berciuman. Interaksi ini menimbulkan kekhawatiran serius mengenai keselamatan anak-anak saat berinteraksi dengan perangkat tersebut.
Respons Perusahaan dan Audit Keselamatan
FoloToy menanggapinya dengan menghentikan sementara penjualan Kumma dan meluncurkan audit keselamatan internal. Direktur Pemasaran perusahaan, Hugo Wu, menyatakan bahwa tinjauan tersebut akan mencakup penyelarasan keamanan model, sistem pemfilteran konten, proses perlindungan data, dan perlindungan untuk interaksi anak. Hal ini menunjukkan kesadaran akan perlunya kontrol yang lebih ketat terhadap mainan bertenaga AI.
Masalah Keamanan AI yang Lebih Luas
Insiden ini menyoroti masalah yang berulang dalam pengembangan AI: kegagalan pagar pembatas ketika berinteraksi dengan populasi rentan, terutama anak-anak. Meskipun ada kemajuan dalam teknologi AI, memastikan keselamatan tetap menjadi tantangan besar, terutama ketika AI diintegrasikan ke dalam produk yang dirancang untuk pengguna muda. Kasus Kumma menggarisbawahi perlunya mekanisme keselamatan yang kuat dan pertimbangan etis dalam pengembangan mainan bertenaga AI.
Pengungkapan
Ziff Davis, perusahaan induk Mashable, telah mengajukan gugatan terhadap OpenAI, menuduh pelanggaran hak cipta dalam pelatihan dan pengoperasian sistem AI-nya.
Penghapusan Kumma menjadi peringatan mengenai risiko integrasi AI yang tidak terkendali ke dalam produk anak-anak. Sebelum langkah-langkah keamanan AI terbukti efektif, penghapusan perangkat tersebut dari pasar merupakan langkah penting untuk melindungi pengguna muda
