Nový AI video generátor OpenAI, Sora 2, čelil odporu jen několik dní po svém uvedení. Ačkoli byl nabízen jako potenciálně revoluční nástroj pro platformy pro sdílení videí, jako je TikTok nebo Reels, neuvěřitelná schopnost tohoto nástroje rychle vytvářet realistická videa vedla k nepředvídatelným následkům.
Uživatelé okamžitě začali využívat schopnosti Sora 2 a zaplavili platformu znepokojivými deepfakes celebrit, politicky podbarveným obsahem a dokonce i postavami chráněnými autorskými právy. Záplava obsahu vytvářeného uživateli vyvolala bezprostřední obavy z etických důsledků a možného zneužití tak výkonné technologie.
Navzdory tvrzením o silnější ochraně než konkurenti jako Grok – včetně vyhrazených mechanismů hlášení škodlivého obsahu, jako je sexuální vykořisťování, násilí, obtěžování a ohrožení dětí – funkce centrálního zabezpečení Sora 2 zaostává. Cílem aplikace je zabránit deepfakes blokováním uživatelů ve stahování videí s rozpoznatelnými tvářemi. Tento zdánlivě jednoduchý přístup však ignoruje významnou chybu: vlastní funkce OpenAI „Cameos“ věci komplikuje.
Camea jsou v podstatě digitální avatary vytvořené z audio a video obsahu uživatelů. Uživatelé údajně kontrolují používání svého Cameo tím, že svému digitálnímu dvojčeti poskytují různé úrovně přístupu: pouze sobě, schváleným jednotlivcům, přátelům nebo celé platformě. Tento systém se však ukázal jako zranitelný. Dříve, pokud si uživatel zvolil přístup „všichni“, jeho Cameo mohlo být přesměrováno na jakýkoli myslitelný scénář bez dalšího souhlasu – což efektivně umožňovalo komukoli použít obrázek někoho jiného k potenciálně škodlivým nebo vykořisťovatelským účelům.
Toto inherentní riziko vedlo k okamžité kritice ze strany uživatelů znepokojených potenciálem zneužití jejich digitálních obrázků. OpenAI zareagovala posílením kontrol pro Cameos, přičemž si uvědomila bezpečnostní obavy spojené s neomezeným přístupem k digitálnímu obrazu osoby.
Nová nastavení pro vaše digitální dvojče
Bill Peebles, šéf společnosti Sora, nastínil nová nastavení v příspěvku na X a upozornil uživatele na podrobný komentář technického ředitele OpenAI Thomase Deasona. Aktualizovaná nastavení Cameo umožňují uživatelům doladit své digitální avatary pomocí textových výzev a omezení.
Tato nastavení umožňují uživatelům určit, co jejich Cameo může a co nemůže dělat nebo říkat.
Uživatel může například určit, že jeho Cameo nebude zahrnuto do videa o politice nebo nebude říkat určitá slova, která považuje za nevhodná. Další přizpůsobení vám umožňuje nastavit vizuální parametry, které zajistí, že se Cameo bude konzistentně zobrazovat s určitým oblečením nebo doplňky.
Uživatelé, kteří chtějí maximální soukromí, mohou v sekci „Pravidla Cameo“ vybrat „Pouze já“, čímž účinně zabrání jakémukoli jinému uživateli v použití jejich obrázku. Je důležité poznamenat, že OpenAI také nabízí možnost opt-out pro Cameo ve fázi registrace pro ty, kteří si ji vůbec nechtějí vytvořit.
Peebles zdůraznil, že Sora 2 stále prochází vývojem a brzy bude mít jasnější vodoznak pro boj se stížnostmi na „přemíru moderování“. Posílil opatrný přístup OpenAI: “Věříme, že je důležité být v této oblasti konzervativní, dokud si svět zvykne na tuto novou technologii.”
Rychlé šíření výkonných nástrojů umělé inteligence, jako je Sora 2, zdůrazňuje naléhavou potřebu neustálého dialogu a rozvoje silných etických standardů v IT průmyslu. Nalezení rovnováhy mezi podporou inovací a zmírňováním potenciálních škod bude i nadále zásadní výzvou, protože tyto technologie se neustále vyvíjejí neuvěřitelnou rychlostí.
