Глобальная команда компьютерных ученых из Массачусетского технологического института, Adobe и Университета Аалто разработала инновационный метод создания высококачественных изображений и дизайнов сцен за гораздо меньшее время за счет использования подхода, основанного на глубоком обучении, который значительно снижает шум в изображениях. Их метод приводит к более четким изображениям, которые эффективно захватывают сложные детали из образцов объектов, включая сложные компоненты освещения, такие как затенение, непрямое освещение, размытие при движении и глубина резкости.
Исследователи намерены представить свою работу на выставке SIGGRAPH 2019, которая пройдет с 28 июля по 1 августа в Лос-Анджелесе. На этом ежегодном собрании представлены ведущие мировые профессионалы, ученые и творческие люди, занимающиеся передовой компьютерной графикой и интерактивными технологиями.
«Наш алгоритм может создавать чистые изображения из шумных входных изображений с очень небольшим количеством образцов и может быть полезен для создания быстрых визуализированных превью при повторении дизайна сцены», – говорит ведущий автор исследования Майкл Гарби, научный сотрудник Adobe. Гарби начал исследования, будучи аспирантом Массачусетского технологического института в лаборатории Фредо Дюрана, который также является соавтором.
Работа команды сосредоточена на так называемом «шумоподавлении», методе постобработки для уменьшения шума изображения при рендеринге Монте-Карло. По сути, он сохраняет детали изображения и удаляет все, что снижает его резкость.
В предыдущей работе компьютерные ученые разработали методы, которые сглаживают шум, беря среднее значение для пикселей в образце изображения и соседних пикселей.
«Это работает достаточно хорошо, и в нескольких фильмах это действительно использовалось в производстве», – отмечает соавтор Цзы-Мао Ли, недавний выпускник доктора философии Массачусетского технологического института, который также учился у Дюрана. «Однако, если изображения слишком зашумлены, часто методы постобработки не могут восстановить чистые и резкие изображения. Обычно пользователям по-прежнему нужны в среднем сотни образцов на пиксель для изображения разумного качества – утомительный и трудоемкий процесс."
В некоторой степени сопоставим процесс редактирования фотографии в графической программе. Если пользователь не работает с исходным необработанным файлом, измененные версии фотографии, скорее всего, не приведут к четкому, резкому конечному изображению с высоким разрешением.
Похожая, но более сложная проблема – шумоподавление изображения.
С этой целью новый вычислительный метод исследователей предполагает непосредственную работу с образцами Монте-Карло, а не с усредненными зашумленными изображениями, где большая часть информации уже потеряна.
В отличие от типичных методов глубокого обучения, которые работают с изображениями или видео, исследователи демонстрируют новый тип сверточной сети, которая может научиться уменьшать шум от рендеринга непосредственно из необработанного набора образцов Монте-Карло, а не из сокращенных, основанных на пикселях представлений.
Ключевой частью их работы является новая вычислительная структура с прогнозированием ядра, которая «накладывает» отдельные образцы – цвета и текстуры – на соседние пиксели, чтобы сделать общую композицию изображения более четкой.
В традиционной обработке изображений ядро используется для размытия или повышения резкости. Сплаттинг – это метод, который решает проблемы размытия движения или глубины резкости и упрощает выравнивание пиксельной области образца.
В этой работе алгоритм разбиения команды генерирует двумерное ядро для каждого образца и «накладывает» образец на изображение. «Мы утверждаем, что это более естественный способ постобработки», – говорит Ли. Команда обучила свою сеть, используя генератор случайных сцен, и всесторонне протестировала свой метод на множестве реалистичных сцен, включая различные сценарии освещения, такие как непрямое и прямое освещение.
«Наш метод дает более чистые результаты при очень небольшом количестве образцов, в которых предыдущие методы обычно не справлялись», – добавляет Гарби.
В своей будущей работе исследователи намерены решить проблему масштабируемости с помощью своего метода, чтобы расширить его до большего количества типовых функций, и изучить методы обеспечения покадровой плавности шумоподавленных изображений.
Статья «Снижение шумов методом Монте-Карло на основе выборки с использованием сети с разделением на ядро» также является соавтором Миики Айттала из Массачусетского технологического института и Яакко Лехтинена из Университета Аалто и Nvidia.