Meta представила новую модель ИИ, способную генерировать видео со звуком

В компании утверждают, что она может соперничать с инструментами ведущих стартапов по созданию медиа, таких как OpenAI и ElevenLabs, передает incrussia.ru

Примеры работ Movie Gen, предоставленные Meta, демонстрируют видео с плавающих животных, а также ролики с использованием реальных фотографий людей, изображающие их действия, например, рисование на холсте.

Movie Gen также может генерировать фоновую музыку и звуковые эффекты, синхронизированные с содержанием видео, говорится в сообщении Meta в блоге. В одном из таких роликов в руки бегущего по пустыне человека вложили помпоны, а в другом превратили парковку, где человек катался на скейтборде, в лужу.

Видеоролики, созданные Movie Gen, могут длиться до 16 секунд, а аудиоклипы — до 45 секунд, сообщили в Meta. Компания поделилась данными слепых тестов, показавших, что модель демонстрирует хорошие результаты по сравнению с предложениями таких стартапов, как Runway, OpenAI, ElevenLabs и Kling.

Объявление было сделано в то время, когда Голливуд уже в этом году примет решение относительно применения ИИ в индустрии. Этот вопрос был поднят после того как в феврале OpenAI впервые продемонстрировала, как ее продукт Sora может создавать видеоролики, похожие на художественные фильмы, в ответ на текстовые запросы.

Представители Meta заявили, что компания вряд ли выпустит Movie Gen для открытого использования разработчиками, как это было с ее серией больших языковых моделей Llama, заявив, что она рассматривает риски индивидуально для каждой модели. В компании добавили, что Meta проводит консультации по поводу использования Movie Gen с индустрией развлечений и другими создателями контента и собирается включить его в линейку продуктов Meta в следующем году.

Согласно сообщению в блоге и исследовательскому документу об инструменте, выпущенному Meta, для создания Movie Gen компания использовала комбинацию лицензированных и общедоступных наборов данных.

В этом году OpenAI встречалась с представителями Голливуда, чтобы обсудить возможное партнерство с Sora, но пока о каких-либо сделках, заключенных в результате этих переговоров не сообщается. Беспокойство по поводу подхода компании усилилось в мае, когда актриса Скарлетт Йоханссон обвинила компанию, создавшую ChatGPT в том, что она без разрешения использовала ее голос для создания своего чатбота.

Lions Gate Entertainment, компания, выпустившая фильмы «Голодные игры» и «Сумерки», в сентябре объявила, что предоставляет стартапу Runway доступ к своей библиотеке контента для обучения ИИ-модели. Взамен, по словам компании, студия и ее режиссеры смогут использовать эту модель для в своей работе.