При съемке обычной камерой CMOS, такой как на смартфонах, датчик камеры открыт для большого потока фотонов в течение заранее определенного времени экспозиции. Каждый пиксель в сетке сенсора выводит аналоговое значение, которое зависит от количества фотонов, попавших в этот пиксель во время экспонирования.
Однако у этого типа визуализации есть несколько способов работы с движущимися объектами; движение объекта должно быть намного медленнее, чем время экспозиции, чтобы избежать размытия. В отличие от этого, однофотонные камеры фиксируют быструю серию последовательных кадров с очень коротким временем индивидуальной экспозиции.
Эти кадры являются двоичными – сетка из единиц и нулей, которые соответственно показывают, попал ли один фотон в каждый пиксель или нет во время экспозиции. Чтобы восстановить реальное изображение из этих двоичных кадров (или битовых плоскостей), многие из них должны быть преобразованы в одно недвоичное изображение. Этого можно достичь, назначив разные уровни яркости всем пикселям в сетке, в зависимости от того, сколько битовых плоскостей имеют «1» для каждого пикселя.
Помимо более высокой скорости, полностью цифровая природа однофотонной визуализации позволяет разрабатывать умные алгоритмы восстановления изображения, которые могут компенсировать технические ограничения или сложные сценарии.
В Токийском университете науки, Япония, профессор Такаюки Хамамото возглавляет исследовательскую группу, которая занимается дальнейшим расширением возможностей однофотонной визуализации. В последнем исследовании проф.
Хамамото и его команда, опубликованные в IEEE Access, разработали высокоэффективный алгоритм для устранения размытия, вызванного движением отображаемых объектов, а также общего размытия всего изображения, например, вызванного дрожанием камеры.
Их подход устраняет многие ограничения существующих методов устранения размытости для однофотонной визуализации, которые создают изображения низкого качества, когда несколько объектов в сцене движутся с разной скоростью и динамически перекрывают друг друга. Вместо настройки всего изображения в соответствии с предполагаемым движением отдельного объекта или на основе пространственных областей, в которых объект считается движущимся, предлагаемый метод использует более универсальную стратегию.
Во-первых, алгоритм оценки движения отслеживает движение отдельных пикселей посредством статистических оценок того, как значения битов меняются с течением времени (по разным битовым плоскостям).
Таким образом, как экспериментально продемонстрировали исследователи, движение отдельных объектов может быть точно оценено. «Наши тесты показывают, что предложенная методика оценки движения дает результаты с ошибками менее одного пикселя даже в темноте с небольшим количеством падающих фотонов», – отмечает проф. Хамамото.
Затем команда разработала алгоритм устранения размытости, который использует результаты этапа оценки движения. Этот второй алгоритм группирует пиксели с одинаковым движением вместе, тем самым идентифицируя в каждой битовой плоскости отдельные объекты, движущиеся с разной скоростью.
Это позволяет устранять размытость каждой области изображения независимо в соответствии с движениями объектов, которые проходят через нее. Используя моделирование, исследователи показали, что их стратегия позволяет получать очень четкие и высококачественные изображения даже в динамических сценах при слабом освещении, заполненных объектами, движущимися с разной скоростью.
В целом, результаты этого исследования точно демонстрируют, насколько можно улучшить получение однофотонных изображений, если перейти к разработке эффективных методов обработки изображений. "Методы получения четких изображений в условиях ограниченного количества фотонов будут полезны в нескольких областях, включая медицину, безопасность и науку.
Мы надеемся, что наш подход приведет к появлению новых технологий для получения высококачественных изображений в темноте, например, в открытом космосе, и сверхмедленной записи, которые намного превзойдут возможности самых быстрых современных камер », – говорит Проф. Хамамото.
Он также заявляет, что даже камеры потребительского уровня могут своевременно выиграть от прогресса в области однофотонной визуализации.