Google представила нейросеть Lumiere для генерации видео

Yейросеть Lumiere может создавать ролики длиной до пяти секунд на основе текстовых подсказок, передает snob.ru

Новинка стала возможна благодаря архитектуре, позволяющей просчитывать не отдельные изображения, а весь ролик целиком. Это отличается от большинства существующих генеративных моделей для создания видео: сначала они создают ключевые кадры, затем заполняют промежутки между ними.

Помимо обработки текстовых запросов, Lumiere умеет переводить статические изображения в динамические. Также нейросеть может скопировать стиль других видео и отредактировать существующие ролики. Изменить можно какие-то определенные детали, например, одежду персонажей или цвет фона.

Нейросеть, обученная на 30 млн видеороликов, пока что недоступна для публики. Журналисты портала VentureBeat считают, что полноценный запуск Lumiere позволит Google конкурировать с другими нейросетями, создающими видео, в том числе Runway, Pika и Stability AI.