Компания OpenAI анонсировала появление выдающейся новой модели генеративного видео под названием Sora, способной преобразовывать короткие текстовые описания в подробные, высококачественные фильмовые клипы длительностью до одной минуты. Опираясь на четыре образца видео, которыми поделилась OpenAI с MIT Technology Review перед официальным объявлением, компания значительно расширила границы возможностей генерации видео по тексту — направление исследования, которое было отмечено как тренд 2024 года.
Тим Брукс, учёный из OpenAI, поделился: «Мы считаем, что создание моделей, способных понимать видео и все эти очень сложные взаимодействия нашего мира, является важным шагом для всех будущих ИИ систем». Однако компания предоставила предварительный просмотр Sora (что в переводе с японского означает небо) в условиях строжайшей секретности. OpenAI не выпустила технический отчёт и не демонстрировала работу модели. Кроме того, компания сообщает, что ещё не планирует выпускать Sora в ближайшее время.
Модель уже включает фильтр, который блокирует запросы на визуализацию насильственных, сексуальных или ненавистнических изображений, а также изображения известных личностей. Есть и другие фильтры, которые анализируют кадры генерируемого видео и блокируют контент, нарушающий политику безопасности OpenAI. Компания также адаптирует детектор ложных изображений, разработанный для DALL-E 3, для использования вместе с Sora и внедрит во все выходные данные унифицированные метаданные C2PA, указывающие, как было сгенерировано изображение.
Сам Грегори, исполнительный директор организации Witness, затрагивающей проблемы использования и злоупотребления видеотехнологиями, заявляет: «С технической точки зрения это кажется очень значительным прорывом». Он подчёркивает, что возможности для выражения предоставляют потенциал для повествования видео большему числу людей, но есть и реальные пути для неправомерного использования. OpenAI полностью осведомлена о рисках, связанных с генеративными видеомоделями. Photorealistic video поднимает это на новый уровень.
По словам Рамеша, учёного из OpenAI, компании обязательно нужно получить больше отзывов и узнать больше о типах рисков, которые необходимо учесть для видео, прежде чем имеет смысл выпускать это. Брукс соглашается, отмечая, что частью причины обсуждения этого исследования является стремление получить информацию, необходимую для того, чтобы разобраться в том, как его можно будет безопасно развернуть.
PROMТ: Анимированная сцена показывает крупный план на короткого пушистого монстра, стоящего на коленях рядом с таящейся красной свечой. Стиль искусства выполнен в 3D и реалистичной манере, с акцентом на освещении и текстуре. Настроение картины полно чудес и любопытства, поскольку монстр с широко раскрытыми глазами и открытым ртом смотрит на пламя. Поза и выражение его лица передают ощущение невинности и игривости, словно он впервые изучает мир вокруг себя. Использование теплых цветов и драматического освещения еще больше подчеркивает уютную атмосферу изображения.
PROMT: великолепно визуализированный бумажный мир кораллового рифа, изобилующий разноцветными рыбами и морскими обитателями (Фото: OpenAI)
Видео: PROMT: На видео несколько огромных волосатых мамонтов идут по заснеженной поляне. Их длинная шерсть слегка развевается на ветру, снежные деревья и восхитительные покрытые снегом горы видны вдали. Солнце высоко на небе, создавая теплый свет среди полуденных лучей и легких облачков. Низкое ракурс камеры великолепно передает величие этих больших волосатых млекопитающих с помощью прекрасной фотографии и глубины сцены. (Автор: OpenAI)
PROMT: В прекрасном снежном Токио множество людей наслаждаются шоппингом на прилегающих рынках и наслаждаются красивой снежной погодой. Камера перемещается по оживленной городской улице, следуя за несколькими людьми. В воздухе летают великолепные лепестки сакуры вместе со снежинками.
Команда OpenAI планирует использовать результаты тестирования безопасности, проведенного в прошлом году для DALLE3. Sora уже включает фильтр, который работает со всеми приглашениями, отправляемыми модели, и блокирует запросы на изображения насилия, сексуальности или ненависти, а также изображения известных людей. Другой фильтр будет просматривать кадры сгенерированных видео и блокировать материалы, нарушающие политику безопасности OpenAI.
