De gloednieuwe AI-videogenerator van OpenAI, Sora 2, is slechts enkele dagen na de lancering verwikkeld in controverse. Hoewel aangeprezen als een potentiële game-changer voor videogerichte sociale mediaplatforms zoals TikTok of Reels, liep het opmerkelijke vermogen van de tool om ongelooflijk realistische video’s te maken al snel uit de hand.
Gebruikers verspilden geen tijd met het exploiteren van de mogelijkheden van Sora 2, waardoor het platform werd overspoeld met verontrustende deepfakes van beroemdheden, politiek geladen inhoud en zelfs auteursrechtelijk beschermde karakters. Deze stortvloed aan door gebruikers gegenereerd materiaal heeft aanleiding gegeven tot onmiddellijke zorgen over de ethische implicaties en het mogelijke misbruik van dergelijke krachtige technologie.
Ondanks dat er beveiligingen zijn die ogenschijnlijk sterker zijn dan die van concurrenten als Grok – inclusief speciale rapportagemechanismen voor schadelijke inhoud zoals seksuele uitbuiting, geweld, intimidatie en het in gevaar brengen van kinderen – lijkt de centrale veiligheidsfunctie van Sora 2 onvoldoende. De app wil deepfakes voorkomen door te voorkomen dat gebruikers video’s met herkenbare gezichten uploaden. Deze ogenschijnlijk eenvoudige oplossing gaat echter voorbij aan een belangrijke tekortkoming: OpenAI’s eigen “Cameos”-functie maakt de zaken aanzienlijk ingewikkelder.
Cameo’s zijn in wezen digitale avatars die zijn gemodelleerd naar gebruikers op basis van de audio en video die ze uploaden. Gebruikers zouden controle hebben over hoe hun Cameo wordt gebruikt, waardoor ze verschillende niveaus van toegang tot hun digitale gelijkenis krijgen: alleen zichzelf, goedgekeurde individuen, vrienden of het hele platform. Dit systeem is echter kwetsbaar gebleken. Als een gebruiker voorheen voor ‘iedereen’-toegang zou kiezen, kon zijn Cameo zonder verdere toestemming worden hergebruikt in elk denkbaar scenario, waardoor iedereen in feite iemands gelijkenis op potentieel schadelijke of uitbuitende manieren kon gebruiken.
Dit inherente risico leidde tot onmiddellijke reacties van gebruikers die zich zorgen maakten over het mogelijke misbruik van hun digitale zelf. OpenAI heeft gereageerd door strengere inhoudscontroles voor Cameos te introduceren, waarbij de veiligheidsproblemen worden erkend die gepaard gaan met onbeperkte toegang tot de digitale gelijkenis van een persoon.
Nieuwe bedieningselementen voor uw digitale dubbelganger
Bill Peebles, hoofd van Sora, schetste de nieuwe instellingen in een X-post en verwees gebruikers naar een gedetailleerd draadje van OpenAI-technisch stafmedewerker Thomas Dimson. De bijgewerkte Cameo-besturingselementen bieden gebruikers gedetailleerde controle over hun digitale avatars via tekstprompts en beperkingen. Met deze instellingen kunnen gebruikers specificeren wat hun Cameo wel en niet kan doen of zeggen.
Gebruikers kunnen bijvoorbeeld bepalen dat hun Cameo niet mag worden opgenomen in video’s waarin politiek wordt besproken, of kunnen zich onthouden van het uiten van specifieke woorden die als ongepast worden beschouwd. Door verdere aanpassingen kunnen gebruikers visuele parameters afdwingen, zodat hun Cameo consistent verschijnt bij het definiëren van kledingstukken of accessoires.
Gebruikers die de strengste privacy wensen, kunnen “alleen ik” selecteren in het gedeelte “Cameo-regels”, waardoor effectief wordt voorkomen dat iemand anders hun beeltenis gebruikt. Belangrijk is dat OpenAI ook een opt-out-optie biedt tijdens het aanmeldingsproces voor degenen die überhaupt geen Cameo willen maken.
Peebles benadrukte dat Sora 2 nog steeds wordt verfijnd en binnenkort een duidelijker watermerk zal bevatten om mogelijke klachten over ‘overmatigheid’ te bestrijden. Hij onderstreepte de voorzichtige aanpak van OpenAI en stelde: “Wij vinden het belangrijk om hier conservatief te zijn, nu de wereld zich nog aan het aanpassen is aan deze nieuwe technologie.”
De snelle verspreiding van krachtige AI-tools zoals Sora 2 benadrukt de dringende behoefte aan voortdurende dialoog en ontwikkeling van robuuste ethische richtlijnen binnen de technologie-industrie. Het vinden van een evenwicht tussen het bevorderen van innovatie en het beperken van potentiële schade zal een cruciale uitdaging blijven, aangezien deze technologieën zich in een verbazingwekkend tempo blijven ontwikkelen.
