Een nieuw rapport van het Tech Transparency Project (TTP) beweert dat Apple en Google er niet in zijn geslaagd hun eigen veiligheidsbeleid af te dwingen, door effectief ‘nudify’-apps te promoten die hun servicevoorwaarden schenden. Deze toepassingen maken gebruik van generatieve AI om niet-consensuele intieme beelden te creëren, waarbij kleding wordt verwijderd van foto’s van individuen (voornamelijk vrouwen) om deepfake-pornografie te creëren.
De maas in het bestuur van de App Store
Hoewel zowel Apple als Google een strikt beleid voeren tegen ‘openlijk seksueel of pornografisch materiaal’, blijkt uit onderzoek dat er een aanzienlijke kloof bestaat tussen geschreven regels en daadwerkelijke handhaving.
De belangrijkste bevindingen uit het TTP-onderzoek zijn onder meer:
– Permanente beschikbaarheid: Ondanks eerdere maatregelen blijven honderden van deze apps toegankelijk op beide platforms.
– Zoekkwetsbaarheden: Gebruikers kunnen nog steeds zoeken naar provocerende termen zoals “nudify”, “undress”, en “deepnude.”
– Directe promotie: Het meest verontrustende is dat het rapport beweert dat de platforms de zichtbaarheid van deze apps actief hebben vergroot. Google stond vooral bekend om het aanbieden van een “carrousel van advertenties” voor enkele van de meest seksueel expliciete toepassingen die zijn ontdekt.
– Expliciete marketing: Uit een analyse van de top 10 apps in deze categorie bleek dat 40% expliciet reclame maakte voor hun vermogen om vrouwen naakt of schaars gekleed weer te geven.
Het winstmotief versus gebruikersveiligheid
De verspreiding van deze apps roept een kritische vraag op: Waarom laten de grootste technische poortwachters ter wereld dit doorgaan?
Het antwoord ligt wellicht in de economische aspecten van het app-ecosysteem. Volgens gegevens van analysebedrijf AppMagic hebben deze ‘nudify’-apps meer dan $122 miljoen aan levenslange inkomsten gegenereerd en zijn ze ongeveer 483 miljoen keer gedownload.
Omdat Apple en Google aanzienlijke inkomsten genereren via advertenties en commissies op betaalde abonnementen, is er een ingebouwde financiële prikkel om op agressieve wijze goed presterende, ook al schendt, software te verwijderen. Dit creëert een spanning tussen de rol van de platforms als ‘morele poortwachters’ en hun rol als winstgedreven bedrijven.
De groeiende dreiging van AI-deepfakes
Deze kwestie maakt deel uit van een bredere, gevaarlijkere trend waarbij generatieve AI betrokken is. De technologie heeft het creëren van seksuele inhoud zonder wederzijds goedvinden sneller, gemakkelijker en overtuigender gemaakt dan ooit tevoren.
De omvang van het probleem is enorm. Ter context: eerder dit jaar genereerden gebruikers van het AI-platform Grok naar verluidt in slechts negen dagen 1,4 miljoen geseksualiseerde deepfakes. Ondanks oproepen van Amerikaanse senatoren om dergelijke tools uit app-winkels te verwijderen, zijn grote platforms traag in actie gekomen.
Reacties van Apple en Google
Beide bedrijven hebben verklaringen uitgegeven waarin ze hun toezicht verdedigen:
- Google beweert dat Google Play geen seksuele inhoud toestaat en beweert dat veel van de gemarkeerde apps al zijn opgeschort.
- Apple meldde dat het vijftien gemarkeerde apps heeft verwijderd en waarschuwingen heeft afgegeven aan zes andere ontwikkelaars, terwijl het ook verschillende door de TTP geïdentificeerde zoektermen heeft geblokkeerd.
“Deze inkomstenstroom kan de reden zijn dat de twee bedrijven minder waakzaam zijn geweest als het gaat om het nudificeren van apps die hun beleid schenden”, concludeert het TTP-rapport.
Conclusie: De aanwezigheid van ‘nudify’-apps op grote platforms wijst op een systematisch onvermogen om door AI veroorzaakte schade te reguleren, wat erop wijst dat de enorme inkomsten die door deze tools worden gegenereerd het veiligheidsbeleid dat bedoeld is om gebruikers te beschermen, kunnen ondermijnen.
