Это потому, что, скрытый невооруженным глазом, он сканировался мощным лазером, а отдельные частицы света, которые он отражал на стены вокруг него, были захвачены и реконструированы передовыми датчиками камеры и алгоритмом обработки.
«Люди говорят о создании камеры, которая может видеть не хуже людей, для таких приложений, как автономные автомобили и роботы, но мы хотим создавать системы, которые выходят далеко за рамки этого», – сказал Гордон Ветцштейн, доцент кафедры электротехники в Стэнфорде. "Мы хотим видеть вещи в 3D, за углами и за пределами видимого спектра света."
Система камер, протестированная Lindell, которую исследователи представляют на конференции SIGGRAPH 2019, август. 1, основан на предыдущих камерах, разработанных этой командой.
Он способен улавливать больше света с большего разнообразия поверхностей, видеть шире и дальше и достаточно быстр, чтобы отслеживать движения вне поля зрения – например, художественную гимнастику Линделла – впервые. Когда-нибудь исследователи надеются, что сверхчеловеческие системы зрения смогут помочь автономным автомобилям и роботам работать даже более безопасно, чем с человеческим руководством.
Практичность и сейсмология
Сохранение практичности их системы – высокий приоритет для этих исследователей. Выбранное оборудование, скорость сканирования и обработки изображений, а также стиль визуализации уже распространены в автономных системах технического зрения. Предыдущие системы для просмотра сцен за пределами прямой видимости камеры полагались на объекты, которые либо равномерно, либо сильно отражали свет. Но объекты реального мира, в том числе блестящие автомобили, не входят в эти категории, поэтому эта система может обрабатывать свет, отражающийся от различных поверхностей, включая дискотечные шары, книги и статуи с замысловатой текстурой.
В основе их прогресса был лазер, который в 10 000 раз мощнее того, что они использовали год назад. Лазер сканирует стену напротив интересующей сцены, и этот свет отражается от стены, попадает на объекты в сцене, отскакивает обратно к стене и к датчикам камеры.
К тому времени, когда лазерный свет достигает камеры, остаются только пятнышки, но датчик улавливает каждую, отправляя ее в высокоэффективный алгоритм, также разработанный этой командой, который распутывает эти отголоски света, чтобы расшифровать скрытую картину.
«Когда вы смотрите, как лазер сканирует его, вы ничего не видите», – сказал Линделл. "С помощью этого оборудования мы можем замедлить время и выявить следы света. Это почти похоже на волшебство."
Система может сканировать со скоростью четыре кадра в секунду.
Он может реконструировать сцену со скоростью 60 кадров в секунду на компьютере с графическим процессором, что расширяет возможности обработки графики.
Чтобы усовершенствовать свой алгоритм, команда обратилась к другим областям в поисках вдохновения. Исследователей особенно привлекали системы построения сейсмических изображений, которые отражают звуковые волны от подземных слоев Земли, чтобы узнать, что находится под поверхностью, и изменили свой алгоритм, чтобы аналогичным образом интерпретировать отраженный свет как волны, исходящие от скрытых объектов. Результатом была такая же высокая скорость и низкое использование памяти с улучшением их способности видеть большие сцены, содержащие различные материалы.
«Есть много идей, которые используются в других областях – сейсмология, спутниковая съемка, радар с синтезированной апертурой – которые применимы для осмотра углов», – сказал Мэтью О’Тул, доцент Университета Карнеги-Меллона, который ранее был докторантом сотрудник лаборатории Ветцштейна. "Мы пытаемся извлечь немного из этих областей, и мы надеемся, что в какой-то момент сможем им что-то вернуть."
Скромные шаги
Возможность видеть движение в реальном времени от невидимого в противном случае света, отражающегося из-за угла, была захватывающим моментом для этой команды, но практическая система для автономных автомобилей или роботов потребует дальнейших улучшений.
"Это очень скромные шаги.
Механизм по-прежнему выглядит с низким разрешением, и он не сверхбыстрый, но по сравнению с последними достижениями прошлого года это значительное улучшение », – сказал Ветцштейн. "Мы были потрясены, когда впервые увидели эти результаты, потому что мы собрали данные, которых никто раньше не видел."
Команда надеется перейти к тестированию своей системы на автономных исследовательских машинах, одновременно изучая другие возможные приложения, такие как получение медицинских изображений, которые могут видеть сквозь ткани.
Помимо других улучшений скорости и разрешения, они также будут работать над тем, чтобы сделать свою систему еще более универсальной для решения сложных визуальных условий, с которыми сталкиваются водители, таких как туман, дождь, песчаные бури и снег.