Почему? Это его внешний вид? Его манеры? Как он движется?
Исследователи из Вашингтонского университета продемонстрировали, что алгоритмы машинного обучения могут запечатлеть «личность» и создать цифровую модель хорошо сфотографированного человека, такого как Том Хэнкс, из огромного количества их изображений, доступных в Интернете.
Имея достаточно визуальных данных для добычи, алгоритмы также могут анимировать цифровую модель Тома Хэнкса, чтобы произносить речи, которые настоящий актер никогда не исполнял.
«Один из ответов на вопрос, что делает Тома Хэнкса похожим на Тома Хэнкса, можно продемонстрировать с помощью компьютерной системы, которая имитирует то, что будет делать Том Хэнкс», – сказал ведущий автор Супасорн Суваджанакорн, аспирант Калифорнийского университета в области информатики и инженерии.
В основе этой технологии лежат достижения в области трехмерной реконструкции лица, отслеживания, выравнивания, мульти-текстурного моделирования и кукловодства, которые были разработаны за последние пять лет исследовательской группой во главе с доцентом кафедры информатики и инженерии UW Ирой Кемельмахер-Шлизерман.
Новые результаты будут представлены в документе на Международной конференции по компьютерному зрению в Чили в декабре. 16.
Как показано в этом видео (https: // www.YouTube.com / watch?v = 86wXbwvmnWM & feature = youtu.be), последние достижения команды включают способность передавать выражения и то, как конкретный человек говорит на лицо другого человека – например, отображение бывшего президента Джорджа В. Манеры Буша на лицах других политиков и знаменитостей.
Это один шаг к великой цели, которую разделяют исследователи компьютерного зрения UW: создание полностью интерактивных трехмерных цифровых образов из семейных фотоальбомов и видео, исторических коллекций или других существующих визуальных элементов.
По мере развития технологий виртуальной и дополненной реальности они предполагают использовать семейные фотографии и видео для создания интерактивной модели относительной жизни за границей или далеких дедушек и бабушек, а не просто скайпинг в двух измерениях.
«Возможно, однажды вы сможете надеть очки дополненной реальности, и на диване появится трехмерная модель вашей матери», – сказал старший автор исследования Кемельмахер-Шлизерман. «Такой технологии еще не существует – технология отображения очень быстро развивается – но как на самом деле воссоздать свою мать в трех измерениях??"
Исследователи говорят, что однажды в технологии реконструкции можно будет сделать еще один шаг вперед.
«Представьте себе возможность поговорить с кем-то, с кем вы не можете встретиться лично – с Леброном Джеймсом, Бараком Обамой, Чарли Чаплином – и пообщаться с ними», – сказал соавтор Стив Зейтц, профессор компьютерных наук Университета штата Вашингтон. и инженерия. "Мы пытаемся добиться этого, выполнив ряд исследовательских шагов. Один из настоящих тестов – можете ли вы попросить их сказать то, что они не сказали, но все равно кажется, что они?
Эта статья демонстрирует эту способность."
Существующие технологии для создания подробных трехмерных голограмм или персонажей цифровых фильмов, таких как Бенджамин Баттон, часто полагаются на привлечение человека в тщательно продуманную студию. Они тщательно фиксируют каждый ракурс человека и то, как он движется, – то, что невозможно сделать в гостиной.
Другие подходы по-прежнему требуют сканирования человека камерой для создания базовых аватаров для видеоигр или других виртуальных сред. Но специалисты по компьютерному зрению из UW хотели реконструировать человека в цифровом виде исключительно на основе случайного набора существующих изображений.
Чтобы реконструировать таких знаменитостей, как Том Хэнкс, Барак Обама и Дэниел Крейг, алгоритмы машинного обучения добыли минимум 200 изображений из Интернета, снятых с течением времени в различных сценариях и позах – процесс, известный как обучение "в дикой природе"."
«Мы спросили:« Можете ли вы сделать фотографии в Интернете или свою личную коллекцию фотографий и оживить модель, не заставляя этого человека взаимодействовать с камерой »?” – сказал Кемельмахер-Шлизерман. "За эти годы мы создали алгоритмы, которые работают с такими неограниченными данными, что очень важно."
Как демонстрирует это видео (https: // www.YouTube.com / watch?v = ladqJQLR2bA), Суваджанакорн недавно разработал методы захвата текстур, зависящих от выражений – небольших различий, которые возникают, например, когда человек улыбается, выглядит озадаченным или шевелит ртом.
Манипулируя условиями освещения на разных фотографиях, он разработал новый подход к плотному отображению различий черт и выражений лица одного человека на лице другого человека.
Этот прорыв позволяет команде «контролировать» цифровую модель с помощью видео другого человека и потенциально может позволить создать множество новых приложений для анимации и виртуальной реальности.
"Как сопоставить производительность одного человека с лицом другого, не теряя при этом его идентичности??"сказал Зейтц. "Это один из наиболее интересных аспектов этой работы.
Мы показали, что у вас может быть выражение лица, рот и движения Джорджа Буша, но он все равно выглядит как Джордж Клуни."
Отчет можно найти в Интернете по адресу: https: // homes.CS.Вашингтон.edu / ~ kemelmi / puppetpaper.pdf