Например, стул на фотографии гостиной можно перевернуть или даже перевернуть на фотографии, показывая стороны стула, которые были бы скрыты от камеры, но выглядят реалистично.
Это трехмерное манипулирование объектами на одной двумерной фотографии возможно, потому что трехмерные числовые модели многих повседневных предметов – мебели, посуды, автомобилей, одежды, техники – легко доступны в Интернете. Исследовательская группа во главе с Ясером Шейхом, доцентом-исследователем робототехники, обнаружила, что они могут создавать реалистичные правки, вписывая эти модели в геометрию фотографии, а затем применяя цвета, текстуры и освещение в соответствии с фотографией.
«В реальном мире мы привыкли обращаться с объектами – поднимать их, переворачивать или опрокидывать», – сказала Наташа Холгаде, доктор философии.D. студент Института робототехники и ведущий автор исследования. "Мы создали среду, которая дает вам такую же свободу при редактировании фотографии."
Холгаде представит результаты своей работы август. 13-е место на конференции SIGGRAPH 2014 по компьютерной графике и интерактивным методам в Ванкувере, Канада. Видео, демонстрирующее новую систему, доступно на сайте проекта по адресу http: // www.CS.КМУ.edu / ~ om3d /.
Хотя система предназначена для использования с цифровыми изображениями, она позволяет выполнять те же трехмерные манипуляции с объектами на картинах и исторических фотографиях. Объекты, которыми можно манипулировать на фотографиях, также можно анимировать; исследователи продемонстрировали, что оригами-птицу, которую держит в руке, можно заставить взмахнуть крыльями и улететь, а такси, показанное на уличной сцене, может взлететь, перевернуться, чтобы обнажить шасси, и улететь в небеса.
«Вместо того, чтобы просто редактировать то, что мы видим на фотографии, наша цель – манипулировать тем, что мы знаем о сцене, скрытой за фотографией», – сказал Холгаде.
Другие исследователи использовали сегментацию на основе глубины для изменения точки обзора на фотографиях или использовали моделирование сфотографированных объектов, но ни один из подходов не позволяет выявить скрытые области. Другой альтернативой является вставка нового 2-мерного или 3-мерного объекта в фотографию, но эти подходы отбрасывают информацию из исходной фотографии, касающуюся освещения и внешнего вида, поэтому результаты не будут бесшовными.
Одна из уловок использования общедоступных трехмерных моделей заключается в том, что они редко, если вообще когда-либо, точно соответствуют фотографии.
Различия возникают между моделями и физическими объектами; реальные объекты, такие как подушки сидений и рюкзаки, иногда деформируются при использовании, а внешний вид может измениться из-за старения, погодных условий или освещения.
Чтобы исправить эти вариации, исследователи разработали метод полуавтоматического выравнивания модели по геометрии объекта на фотографии, сохраняя при этом симметрию объекта.
Затем система автоматически оценивает освещенность окружающей среды и внешний вид скрытых частей объекта – видимая сторона подушки сиденья или банана используется для создания правдоподобного внешнего вида для противоположной стороны. Если фотография не содержит соответствующей информации о внешнем виде – например, нижней части такси, – система использует внешний вид стандартной трехмерной модели.
Хотя в Интернете доступно большое количество стандартных моделей, они доступны не для каждого объекта на фотографии. Но это ограничение, вероятно, исчезнет, особенно когда технологии трехмерного сканирования и печати станут повсеместными. «Вскоре более насущный вопрос будет заключаться не в том, существует ли конкретная модель в сети, а в том, сможет ли пользователь ее найти», – сказал Шейх. Таким образом, одним из направлений будущих исследований будет автоматизация поиска трехмерных моделей в базе данных, содержащей миллионы.
Это исследование частично спонсировалось Google Research Award. Помимо Холгаде и Шейха, в состав команды входил Томас Симон, доктор философии.D. студент Института робототехники и Алексей Эфрос, бывший преподаватель CMU, ныне доцент кафедры электротехники и информатики в Калифорнийском университете в Беркли.