Запуск Sora 2 от OpenAI был хаотичным. Инструмент, превращающий текст в видео, мгновенно стал популярным для создания разнообразного контента, в том числе и провокационного. Соцсети быстро заполнились разнообразными видео разного уровня реалистичности. Некоторые из них действительно трудно отличить от реальных футажей, если бы не водяной знак, рассказывает 24 Канал со ссылкой на Futurism.
Смотрите также Google создала инструмент, который сам находит и исправляет ошибки в коде
Например, в сети появились видео с Губкой Бобом, который готовит метамфетамин, а также фейковые записи с камер наблюдения, где якобы зафиксированы преступления основателя OpenAI Сэма Альтмана. Это подняло вопрос об авторских правах и легкость создания вредных фейков.
Что касается первого, то OpenAI, похоже, нашла решение. Компания рассматривает новые модели монетизации, с возможностью распределения доходов с правообладателями за использование их образов. Также планируется добавление специальной функции автоматического обнаружения персонажей в видео.
Насколько опасен новый инструмент OpenAI?
Почти сразу после запуска Sora 2 нашлось еще одно зловещее применение – сталкинг. Журналистка Тейлор Лоренц рассказала, что ее "психотический сталкер" начал использовать инструмент для создания ИИ-видео с ней.
Кто-то прислал моему психотическому преследователю приглашение в Sora, и он уже создает обо мне видео с использованием искусственного интеллекта. Я благодарна, что Sora имеет возможность блокировать и удалять несанкционированный контент с моим изображением. Это опасный человек, который ведет сотни (да, сотни) аккаунтов, посвященных мне,
– написала Тейлор.
По ее словам, этот человек ранее уже нанимал фотографов для слежки, появлялся на мероприятиях, где она была, и выдавал себя за ее друзей и родственников в интернете для сбора информации.
К счастью, функционал Sora 2 позволил Лоренц заблокировать и удалить нежелательные видео с ее изображением. Однако остается вероятность, что сталкер успел их скачать.
Основной функцией Sora 2, которую OpenAI называет "Камео", является создание "многократных персонажей" на основе загруженных пользователями видео. Хотя для использования образа другого человека требуется его разрешение, случай с Лоренц доказывает, что системы безопасности не являются надежными.
Некоторые пользователи уже продемонстрировали, что могут генерировать откровенные и двусмысленные видео с людьми. В системной карте Sora 2 сама OpenAI признала, что в 1,6% случаев приложение не смогло заблокировать запросы на создание видео с обнаженным телом или сексуальным контентом с участием реального лица, о чем впервые написал PCMag. При миллионах запросов это означает, что значительное количество опасных видео может просочиться в сеть.
Проблема использования ИИ для преследования, особенно женщин, не нова. Ранее жертвой дипфейков стала певица Тейлор Свифт, а также обычные люди. Например, один сталкер создавал фейковые обнаженные фотографии женщины, которую преследовал, а другой – порнографические ИИ-видео с десятками жертв, отправляя их семьям.
Такие видео становятся все более реалистичными и легкими в создании. Ситуацию осложняет то, что руководитель OpenAI Сэм Альтман позволяет поклонникам свободно использовать его образ для создания дипфейков, что может преуменьшать серьезность проблемы.