Чтобы решить эту проблему, а также изучить основы науки о цифровых фотографиях, исследователи из Принстона представили новый метод преобразования отдельных селфи. Этот метод может изменить лицо человека, чтобы оно выглядело так, как если бы оно было сфотографировано издалека, например, с расстояний, выбранных профессиональными фотографами.
Инструмент редактирования также может изменить чью-то видимую позу, как если бы камера была размещена выше, ниже или под углом. При наложении изображения, скорректированные таким образом, можно в дальнейшем использовать для создания трехмерных снимков головы. По словам исследователей, в будущем можно будет даже делать «живые» фотографии, которые кажутся странно движущимися, как портреты, висящие в школе Хогвартс из франшизы о Гарри Поттере.
«Хотя это возраст селфи, многие люди не знают, насколько эти автопортреты на самом деле не похожи на человека, которого фотографируют, потому что камера находится слишком близко», – сказал Охад Фрид, ведущий разработчик нового метода и доктор философии.D. кандидат кафедры компьютерных наук Принстонского университета. "Теперь, когда люди могут редактировать так много аспектов фотографии прямо на своих телефонах, мы хотели предоставить быстрый способ редактирования лиц, сохраняющий реализм."
По словам исследователей, этот проект является первым в своем роде, направленным на устранение искажений автопортрета из-за расстояния до камеры.
«Как люди, мы эволюционировали, чтобы быть очень чувствительными к тонким сигналам на лицах других людей, поэтому любые артефакты или сбои в синтезированных изображениях имеют тенденцию действительно выпрыгивать», – сказал Адам Финкельштейн, старший автор статьи и профессор компьютерных наук. «Таким образом, с помощью этого нового метода мы должны были убедиться, что модификации фотографий выглядят чрезвычайно реалистично, и мы были откровенно удивлены точностью результатов, которые мы могли получить, начиная всего с одной фотографии."
Фрид, которого поддерживает программа Google Graduate Fellowship, представляет доклад, описывающий последние достижения в области программного обеспечения для редактирования фотографий 28 июля на конференции SIGGRAPH 2016 в Анахайме, Калифорния., проводится Ассоциацией вычислительной техники (ACM). Статья также появится в журнале ACM Transactions on Graphics.
При разработке метода Фрид и его коллеги начали с модели для создания цифровых трехмерных человеческих голов. Модель взята из FaceWarehouse, базы данных 150 человек, сфотографированных в 20 разных позах, составленной исследователями из Университета Чжэцзян. Следующий ингредиент, программа, предоставленная исследователями из Университета Карнеги-Меллона, выявила около шести десятков ориентиров на чьем-то лице, таких как уголки глаз, макушка, подбородок и т. Д., При представлении селфи.
Затем метод редактирования фотографий под руководством Принстона настраивает трехмерную модель головы так, чтобы она оптимально соответствовала точкам, обнаруженным на лице. Другими словами, глаза в трехмерной модели впоследствии соответствовали тому месту, где, например, были глаза объекта на селфи. «Теперь у нас была базовая трехмерная модель двухмерного селфи», – сказал Фрид.
Затем изменить селфи оказалось несложным.
Координаты селфи для опорных точек лица необходимо обновить, чтобы они соответствовали трехмерному изображению лица, сделанному либо в другой позе, либо с помощью более удаленной камеры. Presto, двумерное изображение претерпело деформацию, чтобы приблизиться к желаемому изменению его виртуальной трехмерной ориентации, и все это в течение нескольких секунд.
«Я считаю, что синтетическое изображение выглядит так хорошо, потому что оно имеет точно такие же цвета пикселей, что и на исходной фотографии – просто они были немного сдвинуты, чтобы создать иллюзию того, что камера находилась в другом местоположение ", – сказал Финкельштейн.
Ира Кемельмахер-Шлизерман, доцент кафедры информатики Вашингтонского университета, которая не принимала участия в исследовании, сказала: «Мне нравится эта статья», потому что в ней представлена «фантастическая идея . . . В документе показано, что геометрия головы может быть трехмерной для изменения перспективы и позы без реальной трехмерной реконструкции входящего человека. Она отметила, что регулировка видимого расстояния камеры также может позволить людям отказаться от неудобных ручных шестов, известных как палки для селфи, при попытке сделать великолепные автопортреты. "Приложение для селфи очень забавное, которое может положить конец использованию палки для селфи!"Кемельмахер-Шлизерман сказал.
Другие приложения, помимо коррекции дистанционной перспективы и поз селфи, включают создание трехмерных анаглифов, «живые» портреты в стиле Гарри Поттера и редактирование кадров видео.
Прежде чем начать коммерческую разработку или выпуск, Фрид и его коллеги хотят сначала сосредоточиться на доводке своего инструмента для редактирования фотографий. Остается еще одна проблемная область – волосы. Если волосы деформированы так же, как и другие характеристики черепа, волосы могут выглядеть искаженными из-за их различной текстуры, стиля и цвета. «Волосы – это сложно», – сказал Фрид.
Другая проблема: автоматическое синтезирование или «галлюцинация» отсутствующей особенности, такой как левое или правое ухо, невидимое из-за позы объекта на исходном изображении, и которое, казалось бы, отсутствует при изменении позы объекта в модифицированном изображении.
«Нам еще предстоит много исследований», – сказал Фрид. "Мы довольны тем, чего достигли до сих пор, но с нетерпением ждем возможности узнать, как сделать эти трансформации селфи еще более реалистичными."