Laporan baru dari Proyek Transparansi Teknologi (TTP) menuduh bahwa Apple dan Google telah gagal menegakkan kebijakan keselamatan mereka sendiri, sehingga secara efektif mempromosikan aplikasi “nudify” yang melanggar persyaratan layanan mereka. Aplikasi-aplikasi ini menggunakan AI generatif untuk menciptakan gambar intim non-konsensual, menghilangkan pakaian dari foto seseorang—terutama wanita—untuk membuat pornografi deepfake.
Celah dalam Tata Kelola App Store
Meskipun Apple dan Google menerapkan kebijakan ketat terhadap “materi seksual atau pornografi yang terang-terangan”, penyelidikan menunjukkan adanya kesenjangan yang signifikan antara aturan tertulis dan penegakan hukum yang sebenarnya.
Temuan utama dari investigasi TTP meliputi:
– Ketersediaan Persisten: Meskipun ada tindakan keras sebelumnya, ratusan aplikasi ini tetap dapat diakses di kedua platform.
– Kerentanan Penelusuran: Pengguna masih dapat menelusuri istilah yang provokatif seperti “nudify”, “undress”, dan “deepnude”.
– Promosi Langsung: Yang paling memprihatinkan, laporan tersebut mengklaim bahwa platform tersebut telah secara aktif meningkatkan visibilitas aplikasi ini. Google secara khusus terkenal karena menampilkan “korsel iklan” untuk beberapa aplikasi paling seksual eksplisit yang ditemukan.
– Pemasaran Eksplisit: Analisis terhadap 10 aplikasi teratas dalam kategori ini mengungkapkan bahwa 40% secara eksplisit mengiklankan kemampuan mereka untuk membuat wanita telanjang atau berpakaian minim.
Motif Keuntungan vs. Keamanan Pengguna
Perkembangan aplikasi-aplikasi ini menimbulkan pertanyaan penting: Mengapa para penjaga gerbang teknologi terbesar di dunia membiarkan hal ini terus berlanjut?
Jawabannya mungkin terletak pada perekonomian ekosistem aplikasi. Menurut data dari firma analisis AppMagic, aplikasi “nudify” ini telah menghasilkan lebih dari $122 juta pendapatan seumur hidup dan telah diunduh sekitar 483 juta kali.
Karena Apple dan Google memperoleh pendapatan yang signifikan melalui iklan dan komisi dari langganan berbayar, terdapat disinsentif finansial yang ada untuk secara agresif menghapus perangkat lunak yang berkinerja tinggi, meskipun melanggar kebijakan. Hal ini menciptakan ketegangan antara peran platform tersebut sebagai “penjaga gerbang moral” dan peran mereka sebagai perusahaan yang berorientasi pada keuntungan.
Meningkatnya Ancaman AI Deepfakes
Masalah ini adalah bagian dari tren yang lebih luas dan berbahaya yang melibatkan AI generatif. Teknologi ini telah membuat pembuatan konten seksual nonkonsensual menjadi lebih cepat, mudah, dan lebih meyakinkan dibandingkan sebelumnya.
Skala masalahnya sangat besar. Sebagai konteksnya, awal tahun ini, pengguna platform AI Grok dilaporkan menghasilkan 1,4 juta deepfake seksual hanya dalam jangka waktu sembilan hari. Meskipun ada seruan dari para senator AS untuk menghapus alat-alat tersebut dari toko aplikasi, platform-platform besar masih lambat dalam bertindak.
Tanggapan dari Apple dan Google
Kedua perusahaan telah mengeluarkan pernyataan yang membela pengawasan mereka:
- Google menyatakan bahwa Google Play tidak mengizinkan konten seksual dan mengklaim banyak aplikasi yang ditandai telah ditangguhkan.
- Apple melaporkan bahwa mereka telah menghapus 15 aplikasi yang ditandai dan mengeluarkan peringatan kepada enam pengembang lainnya, sekaligus memblokir beberapa istilah pencarian yang diidentifikasi oleh TTP.
“Aliran pendapatan ini mungkin menjadi alasan mengapa kedua perusahaan kurang waspada dalam melakukan nudifikasi aplikasi yang melanggar kebijakan mereka,” laporan TTP menyimpulkan.
Kesimpulan: Kehadiran aplikasi “nudify” di platform-platform besar menyoroti kegagalan sistemik dalam mengatur dampak buruk yang disebabkan oleh AI, sehingga menunjukkan bahwa pendapatan besar yang dihasilkan oleh alat-alat ini mungkin melemahkan kebijakan keselamatan yang dimaksudkan untuk melindungi pengguna.
