Der brandneue KI-Videogenerator von OpenAI, Sora 2, ist nur wenige Tage nach seiner Einführung in Kontroversen verwickelt. Während das Tool als potenzieller Game-Changer für videozentrierte Social-Media-Plattformen wie TikTok oder Reels angepriesen wird, geriet die bemerkenswerte Fähigkeit des Tools, unglaublich realistische Videos zu erstellen, schnell außer Kontrolle.
Benutzer verschwendeten keine Zeit damit, die Fähigkeiten von Sora 2 auszunutzen und überschwemmten die Plattform mit beunruhigenden Deepfakes von Prominenten, politisch aufgeladenen Inhalten und sogar urheberrechtlich geschützten Charakteren. Diese Flut von benutzergeneriertem Material hat unmittelbare Bedenken hinsichtlich der ethischen Auswirkungen und des möglichen Missbrauchs einer solch leistungsstarken Technologie hervorgerufen.
Obwohl Sora 2 angeblich stärkere Sicherheitsvorkehrungen bietet als Konkurrenten wie Grok – einschließlich spezieller Meldemechanismen für schädliche Inhalte wie sexuelle Ausbeutung, Gewalt, Belästigung und Gefährdung von Kindern –, scheint die zentrale Sicherheitsfunktion von Sora 2 unzureichend zu sein. Die App soll Deepfakes verhindern, indem sie Nutzer daran hindert, Videos mit erkennbaren Gesichtern hochzuladen. Allerdings übersieht diese scheinbar einfache Lösung einen wesentlichen Fehler: Die OpenAI-eigene „Cameos“-Funktion verkompliziert die Sache erheblich.
Cameos sind im Wesentlichen digitale Avatare, die den Benutzern basierend auf den von ihnen hochgeladenen Audio- und Videoinhalten nachempfunden sind. Angeblich haben Benutzer die Kontrolle darüber, wie ihr Cameo verwendet wird, und gewähren ihnen unterschiedliche Zugriffsebenen auf ihr digitales Abbild: nur sie selbst, genehmigte Einzelpersonen, Freunde oder die gesamte Plattform. Dieses System hat sich jedoch als anfällig erwiesen. Wenn sich ein Benutzer zuvor für den Zugriff „für alle“ entschieden hat, konnte sein Cameo ohne weitere Zustimmung in jedes erdenkliche Szenario umgewandelt werden – so dass jeder das Konterfei einer Person auf potenziell schädliche oder ausbeuterische Weise verwenden konnte.
Dieses inhärente Risiko führte zu einer sofortigen Gegenreaktion der Benutzer, die über einen möglichen Missbrauch ihres digitalen Selbst besorgt waren. OpenAI hat darauf mit der Einführung strengerer Inhaltskontrollen für Cameos reagiert und damit die Sicherheitsprobleme anerkannt, die mit dem uneingeschränkten Zugriff auf das digitale Abbild einer Person verbunden sind.
Neue Steuerung für Ihren digitalen Doppelgänger
Bill Peebles, Leiter von Sora, erläuterte die neuen Einstellungen in einem X-Beitrag und verwies die Benutzer auf einen detaillierten Thread des technischen Mitarbeiters von OpenAI, Thomas Dimson. Die aktualisierten Cameo-Steuerelemente bieten Benutzern eine detaillierte Kontrolle über ihre digitalen Avatare durch Textaufforderungen und Einschränkungen. Mit diesen Einstellungen können Benutzer festlegen, was ihr Cameo tun oder sagen kann und was nicht.
Beispielsweise könnten Nutzer festlegen, dass ihr Cameo-Auftritt nicht in Videos mit politischen Diskussionen enthalten sein soll, oder bestimmte, als unangemessen erachtete Wörter nicht verwenden. Durch weitere Anpassungsmöglichkeiten können Benutzer visuelle Parameter durchsetzen und so sicherstellen, dass ihr Cameo konsistent mit definierenden Kleidungsstücken oder Accessoires angezeigt wird.
Benutzer, die größtmögliche Privatsphäre wünschen, können im Abschnitt „Cameo-Regeln“ „Nur ich“ auswählen und so effektiv verhindern, dass andere Personen ihr Abbild verwenden. Wichtig ist, dass OpenAI während des Anmeldevorgangs auch eine Opt-out-Option für diejenigen bietet, die überhaupt nicht bereit sind, einen Cameo zu erstellen.
Peebles betonte, dass sich Sora 2 noch in der Verfeinerung befinde und bald ein deutlicheres Wasserzeichen erhalten werde, um möglichen Beschwerden über „Übermoderation“ entgegenzuwirken. Er unterstrich den vorsichtigen Ansatz von OpenAI und erklärte: „Wir halten es für wichtig, hier konservativ zu sein, während sich die Welt noch an diese neue Technologie gewöhnt.“
Die schnelle Verbreitung leistungsstarker KI-Tools wie Sora 2 unterstreicht die dringende Notwendigkeit eines kontinuierlichen Dialogs und der Entwicklung robuster ethischer Richtlinien innerhalb der Technologiebranche. Es bleibt eine entscheidende Herausforderung, ein Gleichgewicht zwischen der Förderung von Innovationen und der Minderung potenzieller Schäden zu finden, da sich diese Technologien weiterhin mit erstaunlicher Geschwindigkeit weiterentwickeln.
