Команда OpenAI сделала значительный шаг вперед в области генерации видеоконтента, представив новую модель под названием sCM. Эта модель способна создавать видео в 50 раз быстрее, чем существующие решения.

Разработчики Чэн Лу и Ян Сун опубликовали подробности своей работы на платформе arXiv, где представили концепцию модели непрерывной согласованности во времени. Модель sCM использует современные методы машинного обучения, основанные на диффузионных моделях, которые представляют собой генеративные модели, способные создавать как видео, так и изображения. Эти модели функционируют на основе трех ключевых компонентов: прямых и обратных процессов, а также процедуры выборки.

Традиционно для генерации видео требуется множество шагов, что делает процесс длительным. Например, существующим моделям может потребоваться несколько минут для завершения работы. А команда Лу и Сун разработала подход, который позволяет выполнять все необходимые действия всего за два шага. Это нововведение значительно сокращает время генерации без ущерба для качества конечного продукта.

Модель sCM включает более 1,5 миллиарда параметров и может создавать видеоматериалы за доли секунды, используя лишь один графический процессор A100. Такой уровень производительности делает ее примерно в 50 раз более быстрой по сравнению с известными сейчас аналогами. Исследователи утверждают, что их модель требует гораздо меньше вычислительных ресурсов, что является важным аспектом в условиях растущего спроса на решения в области искусственного интеллекта.

Команда также провела бенчмаркинг, в ходе которого сравнила результаты своей модели с другими существующими и разрабатываемыми решениями. Эти тесты продемонстрировали высокую эффективность нового подхода и его потенциал для разработки приложений генеративного ИИ в реальном времени. Учитывая все эти аспекты, sCM может стать основой для множества новых приложений, способных изменить подходы к работе с видеоконтентом.

Внедрение sCM позволит более широкого использовать видеогенерацию в реальном времени, что может быть особенно полезно в таких областях, как развлечения, образование и маркетинг.