ИИ будут использовать для моментальных снимков со сжатием изображений

Международная группа исследователей под руководством Минхао Ху из Аризонского университета в Тусоне и Цзунляна Ву из Университета Вестлейк в Ханчжоу провела эксперименты по многомерной вычислительной визуализации, чтобы сравнить классические системы обработки изображений со сжатием снимков с их предложенной системой, которая включает многомасштабную множественную выборку и нейронную декомпрессию. Они обнаружили, что их метод обеспечивает сопоставимое качество изображения и имеет большие перспективы благодаря ожидаемому прогрессу в возможностях обработки искусственных нейронных сетей. Исследование группы было опубликовано в журнале Intelligent Computing.

Камеры и другие датчики можно использовать для сбора обширных данных, но чем они точнее, тем труднее управлять данными при сборе, хранении и обработке. Решение заключается в выборке, то есть в стратегически разнесенных или замаскированных снимках цели и объединении их для получения чего-то близкого к оригиналу, используя корреляции данных, поддающиеся вычислению.

Задача состоит в том, чтобы найти разумные компромиссы, чтобы настройка и эксплуатация были управляемыми, а результат был хорошего качества, несмотря на сжатие.

Среди набора методов, называемых сжатием изображений моментальных снимков, спектральные устройства формирования изображений моментальных снимков с кодированной апертурой предназначены для захвата информации о цвете, а устройства формирования временных изображений с кодированной апертурой предназначены для видео. Эти системы, называемые CASSI и CACTI, могут затмить методы, основанные на нейронных сетях для реконструкции изображений.

Нейронные сети делают системы более компактными и легко реализуемыми, потому что они выполняют оптимизацию более обобщенным способом, допуская менее сложные типы выборки, такие как многомасштабная множественная выборка.

«Чересстрочная» выборка в стиле CASSI похожа на использование цветных фильтров в фотографии, тогда как многомасштабная выборка больше похожа на изображение стереопары и может быть реализована на массивах камер, которые являются гибкими и масштабируемыми. Такие массивы камер можно даже запрограммировать во время захвата изображений.

Многомасштабная система выборки исследователей использует своего рода нейронную сеть, называемую «преобразователем», для обработки визуальных данных. В частности, это трансформаторная сеть с учетом физики, поэтому система называется PAT.

Исследователи сравнили PAT и CASSI для визуализации с девятью цветовыми полосами, используя смоделированные данные. Их количественный анализ показывает, что оба метода имеют сильные и слабые стороны: изображения PAT имеют более высокие оценки по структурному сходству, а изображения CASSI имеют более высокие оценки по пиковому отношению сигнал/шум.

Они также сравнили PAT и CACTI для видео с использованием смоделированных данных. Две системы достигли схожих результатов, но система PAT проще и дешевле в настройке.

Кроме того, исследователи продемонстрировали PAT, успешно реконструировав две сцены. Один был снят в оттенках серого с высоким разрешением и в цвете с низким разрешением, а другой был снят с помощью массива из четырех камер, которые захватили три цвета плюс текстуру.