Разработчики из стартапа Runaway, которые ранее создали популярную нейросеть для генерации изображений по текстовому описанию Stable Diffusion, представили новую языковую модель Gen-1. Она умеет преобразовывать имеющиеся видеоролики в новые, внося правки в стиль и постановку кадра.

В качестве исходных данных для последующего преобразования может выступить картинка или текстовое описание. Авторы также выпустили рекламный видеоролик, который на деле показывает возможности Gen-1. Презентация получилась довольно зрелищной и убедительной: стопки книг превращаются в небоскрёбы, живые актёры меняют свой внешний вид в соответствии с предложенной пользователем картинкой, стиль и внешний вид локаций тоже послушно кастомизируется системой.

Разработчики нейросети Gen-1 пока не готовы сказать, когда она будет доступна всем желающим, о модели распространения тоже пока ничего неизвестно. Авторы выразили уверенность в том, что новая нейросеть станет такой же популярной, как и Stable Diffusion, но с поправкой на видеоформат. Представители стартапа Runaway убеждены, что вскоре ИИ будет генерировать значительную долю видеоконтента.

Напомним, чуть ранее компания Google представила нейросеть Dreamix, которая создаёт и редактирует видео по другим видео, текстовым описаниям и приложенным изображениям. Наметилось новое направление развития для нейросетей.