Возможно ли получить оркестровую композицию, превращающую в музыку такое явление, как северное сияние? Команда из нескольких профессионалов от мира искусства, так же хорошо разбирающихся в современных высоких технологиях, заручившись поддержкой специалистов компании Huawei, доказали, что можно! Кроме творческих задач, преследовалась задача и научно-техническая: провести опыт по обучению системы искусственного интеллекта созданию музыки на основе меняющихся во времени параметров изображения на видеоряде.

Работа началась с того, что фотограф Кетил Скольи заснял на видео северное сияние в небе над Норвегией недалеко от города Тромсе, в котором он живёт. Затем, отснятый материал поступил к известному композитору Марку Сайфритцу, который задействовал специально созданные группой программистов алгоритмы, обучающиеся анализировать видеоряд и превращать его в музыкальные фрагменты. В качестве технической базы использовался смартфон Huawei Mate 20 Pro с процессором Kirin 980, имеющим в своём составе модуль искусственного интеллекта (NPU), вычислительной мощности которого оказалось достаточно для решения поставленной задачи.

В результате, на основе анализа ряда изменяющихся во времени параметров северного сияния, таких, как градации его цвета, форма и размер его элементов, была написана музыкальная симфония. После этого в дело вступил британский аранжировщик и дирижер Джеймс Ширман, создавший на её основе партии для оркестровых инструментов. 

Так как цели получить окончательный результат исключительно в автоматическом режиме за счёт обработки исходных видеоданных не стояло, место для классического искусства в проекте тоже нашлось. Получившееся в итоге произведение было названо «Симфонией Света» (Sound of Light) и впервые исполнено 28 ноября 2018 года в Вене оркестром Synchron Stage под руководством Джеймса Ширмана. Произведение получилось «мультисенсорным», то есть, полученным путем множества преобразований и художественно дополненный «живыми» инструментами, звуковой ряд в нём дополняется показом изначально отснятого видеоролика, запечатлевшего одно из самых красивых атмосферных явлений на нашей планете.

Посмотреть и послушать исполнение "Симфонии Света" можно тут:

А в качестве бонуса – фильм о реализации данного проекта, показывающий все этапы пути от начальной задумки, подготовки и обработки исходного цифрового материала, до премьерного исполнения композиции перед публикой: