ИИ-видеогенерация по-новому: Moonvalley выпустил Marey

Стартап Moonvalley выпустил модель для генерации видео Marey, которая понимает физическое устройство реального мира. 

Introducing Marey by Moonvalley, the world’s first fully licensed AI video model built for professional production.

Marey transforms filmmaking today. Its unprecedented creative controls enable you to realize expansive visions, execute complex VFX sequences, and maintain… pic.twitter.com/O3kpw4cCnW

Нейросеть впервые открыли для бета-тестирования в марте. Теперь разработчики запустили платную подписку: базовый тариф стоит $14,99 в месяц, также доступны планы за $34,99 и $149,99.

Marey позволяет создавать ролики длинной до пяти секунд. 

Here's an even better result. @moonvalley https://t.co/orcYNlvUyt pic.twitter.com/UxQOm5aOTg

Основатели компании, ранее работавшие в DeepMind над моделью для генерации видео, утверждают, что их новый продукт обучен полностью открыто на лицензированных данных. Подход сочетается с интересами клиентов стартапа — кинематографистами, стремящимися избежать возможных судебных исков из-за защищенного авторским правом ИИ-контента. 

По заявлению разработчиков, Marey учитывает физические свойства реального мира и воспроизводит движения с опорой на законы природы. В дальнейшем эту возможность планируют развивать, чтобы добавить более интерактивные элементы в повествование.

Made with Marey from @Moonvalley pic.twitter.com/KqL5KUzrq8

Например, видео с бегущим бизоном по прериям можно преобразовать в ролик с мчащимся Cadillac в том же окружении, где трава и земля реалистично реагируют на движение автомобиля. Или модель способна наложить образ Джорджа Вашингтона на актера, точно передавая мимику лица, движения мышц предплечий и жестикуляцию оригинала.

Среди других особенностей Marey: поддержка свободного движения камеры. Это позволяет изменять траекторию съемки с помощью мыши. Модель также умеет заменять фон на видео, позволяя режиссерам использовать исходные кадры как базу для построения нужной сцены.

В ближайшие месяцы планируется добавление следующих функций:

• настройка освещения;
• расширенные траектории движения объектов;
• библиотеки персонажей.

Публичный релиз Marey выводит ее в прямую конкуренцию с растущим числом ИИ-моделей генерации видео — Runway Gen-3, Luma Dream Machine, Pika и Haiper.

Напомним, в мае Google выпустила генератор видео Veo 3, который умеет создавать звук.