Новый генератор видео с искусственным интеллектом от OpenAI, Sora 2, столкнулся с негативной реакцией всего через несколько дней после запуска. Несмотря на то, что его позиционировали как потенциально революционный инструмент для видеохостинговых платформ вроде TikTok или Reels, невероятная способность инструмента быстро создавать реалистичные видео привела к непредсказуемым последствиям.
Пользователи тут же начали использовать возможности Sora 2, заполнив платформу тревожными deepfakes знаменитостей, политически заряженными контентами и даже персонажами с авторским правом. Поток генерируемых пользователями материалов вызвал немедленные опасения по поводу этических последствий и потенциального злоупотребления такой мощной технологией.
Несмотря на заявления о более надежных защитных мерах, чем у конкурентов вроде Grok — в том числе о специальных механизмах для подачи жалоб на вредоносный контент, такой как сексуальное эксплуатацию, насилие, преследования и опасность для детей — центральная функция безопасности Sora 2 оказывается недостаточно эффективной. Приложение предполагает предотвращение deepfakes путем блокировки пользователей от загрузки видео с узнаваемыми лицами. Однако этот, казалось бы, простой подход игнорирует существенный недостаток: собственная функция «Cameos» от OpenAI усложняет ситуацию.
Cameos — это в сущности цифровые аватары, созданные на основе аудио- и видеоматериалов пользователей. Пользователи якобы контролируют использование своего Cameo, предоставляя разный уровень доступа к своему цифрового двойнику: только себе, одобренным лицам, друзьям или всей платформе. Однако эта система оказалась уязвимой. Ранее, если пользователь выбирал доступ «всем», его Cameo можно было перенаправить в любой мыслимый сценарий без дополнительного согласия — фактически позволяя любому использовать чье-либо изображение в потенциально вредных или эксплуатирующих целях.
Этот внутренний риск привел к немедленной критике со стороны пользователей, обеспокоенных возможностью злоупотребления их цифровыми образами. OpenAI ответила усилением контрольных настроек для Cameos, признав проблемы безопасности, связанные с неограниченным доступом к цифровому образу человека.
Новые Установки для Вашего Цифрового Двойника
Билл Пиблиз, руководитель Sora, изложил новые настройки в сообщении в X, указав пользователей на подробный комментарий сотрудника OpenAI по техническим вопросам Томаса Дисона. Обновленные настройки Cameo предоставляют пользователям тонкую настройку своих цифровых аватаров посредством текстовых подсказок и ограничений.
Эти настройки позволяют пользователям указывать, что их Cameo может и не может делать или говорить.
Например, пользователь мог бы указать, чтобы его Cameo не включалось в видео о политике или не произносило определенные слова, которые он считает неуместными. Дальнейшая настройка позволяет задавать визуальные параметры, гарантируя, что Cameo постоянно появляется с определенной одеждой или аксессуарами.
Пользователи, желающие максимальной конфиденциальности, могут выбрать «только я» в разделе «правила Cameo», фактически запретив любому другому пользователю использовать их изображение. Важно отметить, что OpenAI также предлагает опцию отказа от использования Cameo на этапе регистрации для тех, кто не хочет создавать его вообще.
Пиблиз подчеркнул, что Sora 2 все еще проходит доработку и вскоре будет иметь более четкий водяной знак для борьбы с жалобами о «чрезмерной модерации». Он подкрепил осторожный подход OpenAI: “Мы считаем, что важно быть консервативными в этой области, пока мир привыкает к этой новой технологии”.
Быстрое распространение мощных инструментов искусственного интеллекта, таких как Sora 2, подчеркивает неотложную необходимость постоянного диалога и разработки надежных этических норм в сфере информационных технологий. Нахождение баланса между стимулированием инноваций и смягчением потенциального вреда останется критической задачей по мере того, как эти технологии будут продолжать развиваться невероятными темпами.
