Панорамные фотографии были изобретены для захвата крупных объектов или сцен, которые иначе не могли бы уместиться в рамках ограничений одной фотографии. Панорамная фотография достигается за счет сшивания изображений, процесса, который объединяет две или более фотографий, плавно смешивая входные изображения с перекрывающимися областями в одно изображение. В статье, опубликованной Вэй Ван и Майклом Нг в журнале SIAM Journal on Imaging Sciences этим летом, целью является разработка алгоритма сшивания изображений.
Сшивание изображений включает в себя два этапа: выравнивание изображений и смешивание изображений. Выравнивание изображений находит пары точек в области перекрытия двух изображений, которые соответствуют друг другу.
Смешивание изображений объединяет два выровненных изображения безупречно. Этот шаг важен, если интенсивность пикселей на разных изображениях достаточно различается для создания артефактов, таких как различные условия освещения и разные настройки экспозиции. В этой статье авторы сосредотачиваются на смешивании изображений, предполагая, что изображения были выровнены.
В литературе можно найти множество различных подходов к смешиванию изображений. «Традиционный метод заключается в поиске кривой в области перекрытия, в которой различия между входными изображениями минимальны», – объясняет автор Майкл Нг. "Однако кривая может быть определена неточно из-за интенсивности света, несоответствия цвета, параллакса, окклюзии и т. Д."
Вместо этого подход, используемый в этой статье, сводит к минимуму артефакты швов за счет сглаживания перехода между изображениями. Мозаичное изображение здесь представляет собой взвешенную комбинацию входных изображений.
Это означает, что значения пикселей из двух перекрывающихся изображений объединяются с использованием средневзвешенного значения таких качеств, как экспозиция, локальный контраст, насыщенность и т. Д.
Как это достигается?
Многие системы, как естественные, так и созданные руками человека, ищут состояние с наименьшей энергией, например, мяч, катящийся с холма, или изгиб заснеженной ветки дерева, чтобы поддерживать минимально возможную энергию в системе.
Концепция минимизации энергии данной системы также используется при обработке изображений. Для данного изображения функция энергии определяется и минимизируется, чтобы получить лучшее изображение (i.е. меньше шума, лучше резкость, выше контраст и т. д.).
Именно такой подход авторы используют в статье. Плавное комбинирование изображений достигается за счет минимизации функции энергии на основе различий интенсивности или градиента двух изображений.
«Согласно модели, мы строим весовую функцию по перекрывающейся области, чтобы можно было создать панорамное изображение», – говорит Нг. «Оптимальную весовую функцию можно получить, минимизируя общую энергию математической модели."Таким образом, в предлагаемой модели и весовая функция, и ?Конечное смешение в области перекрытия основано на решении задачи минимизации энергии. Авторы показывают, как определить функцию энергии и разработать алгоритм ее минимизации.
Этот вариационный метод, основанный на достижении наименьшей энергии или основного состояния, позволяет получить более визуально привлекательную фотографию по сравнению с другими существующими методами.
Дальнейшая работа может расширить рамки этого исследования за пределы двухмерных изображений. «Интересно рассмотреть возможность расширения существующего вариационного подхода для решения проблемы сшивания трехмерных изображений в медицинских приложениях для визуализации и сшивания видео в компьютерных приложениях», – говорит Нг.