Le tout nouveau générateur vidéo d’IA d’OpenAI, Sora 2, s’est retrouvé mêlé à une controverse quelques jours seulement après son lancement. Bien que présenté comme un changement potentiel pour les plateformes de médias sociaux centrées sur la vidéo comme TikTok ou Reels, la capacité remarquable de l’outil à créer des vidéos incroyablement réalistes est rapidement devenue incontrôlable.
Les utilisateurs n’ont pas perdu de temps pour exploiter les capacités de Sora 2, inondant la plateforme de deepfakes troublants de célébrités, de contenus politiquement chargés et même de personnages protégés par le droit d’auteur. Ce torrent de documents générés par les utilisateurs a immédiatement suscité des inquiétudes quant aux implications éthiques et à l’utilisation abusive potentielle d’une technologie aussi puissante.
Malgré des garanties prétendument plus solides que celles de concurrents comme Grok – y compris des mécanismes de signalement dédiés aux contenus préjudiciables comme l’exploitation sexuelle, la violence, le harcèlement et la mise en danger d’enfants – la fonction de sécurité centrale de Sora 2 semble insuffisante. L’application vise à empêcher les deepfakes en empêchant les utilisateurs de télécharger des vidéos présentant des visages reconnaissables. Cependant, cette solution apparemment simple néglige un défaut important : la fonctionnalité « Cameos » d’OpenAI complique considérablement les choses.
Les camées sont essentiellement des avatars numériques modelés sur les utilisateurs en fonction de l’audio et de la vidéo qu’ils téléchargent. Les utilisateurs sont censés contrôler la manière dont leur Cameo est utilisé, en accordant différents niveaux d’accès à leur image numérique : uniquement eux-mêmes, des personnes approuvées, des amis ou l’ensemble de la plateforme. Cependant, ce système s’est révélé vulnérable. Auparavant, si un utilisateur optait pour un accès « tout le monde », son Cameo pouvait être réutilisé dans n’importe quel scénario imaginable sans autre consentement, permettant ainsi à quiconque d’utiliser l’image de quelqu’un de manière potentiellement dommageable ou exploitante.
Ce risque inhérent a entraîné une réaction immédiate de la part des utilisateurs préoccupés par une éventuelle mauvaise utilisation de leur identité numérique. OpenAI a répondu en introduisant des contrôles de contenu plus stricts pour Cameos, reconnaissant les problèmes de sécurité associés à un accès illimité à l’image numérique d’une personne.
Nouveaux contrôles pour votre sosie numérique
Bill Peebles, responsable de Sora, a décrit les nouveaux paramètres dans un article X, dirigeant les utilisateurs vers un fil de discussion détaillé de Thomas Dimson, membre du personnel technique d’OpenAI. Les contrôles Cameo mis à jour offrent aux utilisateurs un contrôle granulaire sur leurs avatars numériques via des invites textuelles et des restrictions. Ces paramètres permettent aux utilisateurs de spécifier ce que leur Cameo peut et ne peut pas faire ou dire.
Par exemple, les utilisateurs pourraient stipuler que leur Cameo ne doit pas être inclus dans des vidéos traitant de politique ou s’abstenir de prononcer des mots spécifiques jugés inappropriés. Une personnalisation plus poussée permet aux utilisateurs d’appliquer des paramètres visuels, garantissant que leur Cameo apparaît de manière cohérente avec la définition des vêtements ou des accessoires.
Les utilisateurs qui souhaitent la confidentialité la plus stricte peuvent sélectionner « uniquement moi » dans la section « Règles Cameo », empêchant ainsi quiconque d’utiliser leur image. Il est important de noter qu’OpenAI propose également une option de désinscription lors du processus d’inscription pour ceux qui ne souhaitent pas créer un Cameo en premier lieu.
Peebles a souligné que Sora 2 est toujours en cours de perfectionnement et comportera bientôt un filigrane plus distinct pour lutter contre d’éventuelles plaintes de « surmodération ». Il a souligné l’approche prudente d’OpenAI en déclarant : « Nous pensons qu’il est important d’être conservateur ici alors que le monde est encore en train de s’adapter à cette nouvelle technologie. »
La prolifération rapide d’outils d’IA puissants comme Sora 2 souligne le besoin urgent d’un dialogue continu et du développement de directives éthiques solides au sein de l’industrie technologique. Trouver un équilibre entre la promotion de l’innovation et l’atténuation des dommages potentiels restera un défi crucial alors que ces technologies continuent d’évoluer à un rythme étonnant.
