Несмотря на это, мало что известно о сложности анатомии, лежащей в основе руки, и поэтому анимация человеческих рук долгое время считалась одной из самых сложных проблем в компьютерной графике.
Это потому, что было невозможно зафиксировать внутреннее движение руки в движении – до сих пор.
Используя магнитно-резонансную томографию (МРТ) и технику, вдохновленную индустрией визуальных эффектов, группа исследователей USC, состоящая из двух компьютерных ученых и радиолога, разработала самую реалистичную в мире модель движущегося опорно-двигательного аппарата руки человека.
Костно-мышечная система включает мышцы, кости, сухожилия и суставы. Этот прорыв имеет значение не только для компьютерной графики, но и для протезирования, медицинского образования, робототехники и виртуальной реальности.
«Рука очень сложная, но до этой работы никто не построил точную вычислительную модель того, как анатомические структуры внутри руки на самом деле движутся при ее сочленении», – сказал соавтор исследования Джерней Барбич, специалист Эндрю и Эрны Витерби. Кафедра и доцент кафедры компьютерных наук.
Разработка лучшего протезирования
Чтобы решить эту проблему, Барбик, эксперт по компьютерной анимации и физическому моделированию, и его аспирант Бохан Ван, ведущий автор исследования, объединились с Джорджем Маткуком, доктором медицины, доцентом клинической радиологии Медицинской школы Кека. USC.
Результат: наиболее точная анатомическая модель руки в движении.
«В настоящее время это самая точная из доступных моделей анимации руки и первая модель, в которой лазерное сканирование поверхности руки сочетается с базовой моделью костной оснастки на основе МРТ», – сказал Матчук.
В дополнение к созданию более реалистичных рук для компьютерных игр и фильмов CGI, где руки часто обнажены, эту систему также можно использовать в протезировании, чтобы создавать более совершенные протезы пальцев и рук.
«Понимание движения внутренней анатомии руки открывает двери для рук роботов, вдохновленных биологией, которые выглядят и ведут себя как настоящие руки», – сказал Барбик.
«В недалеком будущем эта работа может способствовать развитию анатомически реалистичных рук и улучшенному протезированию рук."
Исследование под названием Hand Modeling and Simulation using Stabilized Magnetic Resonance Imaging было представлено на ACM SIGGRAPH.
Давний вызов
Для повышения реалистичности виртуальные руки должны быть смоделированы так же, как и биологические руки, что требует построения точных анатомических и кинематических моделей реальных человеческих рук. Но мы все еще на удивление мало знаем о том, как кости и мышцы движутся внутри руки.
Одна из причин заключается в том, что до сих пор не существовало методов систематического изучения движения внутренней анатомии кисти. Хотя сканеры МРТ могут предоставить анатомические данные, существует ранее нерешенная практическая проблема: рука должна оставаться в сканере совершенно неподвижно в течение примерно 10 минут.
«Удерживать руку неподвижно в фиксированной позе в течение 10 минут практически невозможно», – сказал Барбик. "Кулак легче держать ровно, но попробуйте полузакрыть руку, и вы обнаружите, что начинаете дрожать примерно через минуту или две. Вы не можете удерживать его в течение 10 минут."
Чтобы преодолеть эту проблему, исследователи разработали производственный процесс с использованием материалов для создания естественных эффектов из индустрии спецэффектов, чтобы стабилизировать руку во время процесса МРТ-сканирования. Реализация жизни включает создание слепка человеческого тела с последующим воспроизведением его в различных средах, включая пластик или силикон.
Барбик, который работал над фильмом "Хоббит: Пустошь Смауга", номинированным на "Оскар", натолкнулся на эту идею, увидев недорогой продукт для ручного клонирования в магазине визуальных эффектов в Лос-Анджелесе во время работы над предыдущим проектом. «Это был момент эврики», – сказал Барбик, который долго обдумывал решение для создания более реалистичных виртуальных человеческих рук.
Сначала команда использовала материал для литья под давлением, чтобы создать пластиковую копию руки модели. Эта копия фиксирует чрезвычайно подробные детали, вплоть до отдельных пор и крошечных линий на поверхности руки, которые затем сканировались с помощью лазерного сканера.
Затем снова был использован процесс литья под давлением, на этот раз на пластиковой руке, чтобы создать негативную трехмерную форму руки из резиноподобного эластичного материала. Форма стабилизирует руку в нужной позе.
Форма была разрезана на две части, а затем испытуемые поместили свою настоящую руку в форму для МРТ-сканирования.
«По мере того, как мы совершенствуем эту работу, я думаю, что это могло бы стать отличным учебным пособием для моих студентов и других врачей, которым необходимо понимание сложной анатомии и биомеханики руки."Джордж Матчук
С помощью эксперта-радиолога Матчука, практикующего врача из USC, рука сканировалась с помощью МРТ-сканера в течение 10 минут.
Эта процедура повторялась 12 раз, каждый раз в другой позе руки. Таким образом были запечатлены два объекта – мужчина и женщина. Теперь для каждой позы исследователи точно знали, где располагаются кости, мышцы и сухожилия.
Обсудив анатомические особенности МРТ-сканирования с Маткуком, Барбик и Ван приступили к работе над созданием кинематической модели скелета на основе данных, которая фиксирует сложные повороты и перемещения костей в реальном мире в любой позе.
Затем они добавили моделирование мягких тканей с использованием метода конечных элементов (МКЭ) для расчета движения мышц, сухожилий и жировой ткани руки в соответствии с движением костей. Эта модель в сочетании с деталями поверхности позволила им создать очень реалистичную движущуюся руку. Рука может быть анимирована любым движением, даже движением, которое сильно отличается от захваченных поз.
Идти вперед
Команда, которая недавно получила грант от Национального научного фонда, чтобы перейти к следующему этапу своей работы, планирует создать общедоступный набор данных многопозиционных МРТ-сканирований рук для 10 субъектов в течение следующих трех лет. Это будет первый набор данных такого рода, который позволит исследователям со всего мира лучше моделировать, моделировать и воссоздавать человеческие руки.
Команда также планирует интегрировать исследования в образование, обучать аспирантов в USC и для программ K-12.
«По мере того, как мы совершенствуем эту работу, я думаю, что это могло бы стать отличным учебным пособием для моих студентов и других врачей, которым необходимо понимание сложной анатомии и биомеханики руки», – сказал Матчук.
В настоящее время команда работает над добавлением в модель лучшего понимания мышц и сухожилий и над тем, чтобы она работала в режиме реального времени. Прямо сейчас компьютеру требуется около часа, чтобы создать минутную симуляцию.
Барбик и Ван надеются сделать систему быстрее без потери качества.