Но многие могут не осознавать, что захват движения не ограничивается большим экраном, а распространяется на науку. Ученые-бихевиористы разрабатывают и используют аналогичные инструменты для изучения и анализа позы и движений животных в различных условиях.
Но подходы к захвату движения также требуют, чтобы субъект был одет в сложный костюм с маркерами, которые позволяют компьютеру «знать», где находится каждая часть тела в трехмерном пространстве. Это может быть нормально для профессионального актера, но животные, как правило, сопротивляются переодеванию.
Чтобы решить эту проблему, ученые начали комбинировать захват движения с глубоким обучением, метод, который позволяет компьютеру, по сути, научиться оптимизировать выполнение задачи.грамм., распознавание определенной "ключевой точки" в видео.
Идея состоит в том, чтобы научить компьютер отслеживать и даже предсказывать движения или позу животного без необходимости использования маркеров захвата движения.
Но для того, чтобы быть значимым для бихевиористской науки, «безмаркерные» инструменты отслеживания также должны позволять ученым быстро – буквально в режиме реального времени – контролировать или стимулировать нервную активность животного. Это особенно важно в экспериментах, которые пытаются выяснить, какая часть нервной системы лежит в основе определенного движения позы.
DeepLabCut: глубокое обучение, отслеживание осанки без маркеров
Одним из ученых, возглавляющих безмаркерный подход, является Маккензи Матис, которая недавно присоединилась к Гарвардской школе естественных наук EPFL. Лаборатория Матиса разрабатывает программный набор инструментов для глубокого обучения под названием DeepLabCut, который может отслеживать и идентифицировать движения животных в реальном времени прямо из видео. Теперь, в статье, опубликованной в eLife, Матис и ее научный сотрудник из Гарварда Гэри Кейн представляют новую версию под названием DeepLabCut-Live! (DLC-Live!), который отличается малой задержкой (в пределах 15 мс при более 100 FPS) – или с помощью модуля, который мы предоставляем для прямого прогнозирования положения, можно добиться обратной связи с нулевой задержкой – и может быть интегрирован в другие программные пакеты.
DeepLabCut изначально был разработан для изучения и анализа того, как животные адаптируют свою позу в ответ на изменения в окружающей среде. «Нас интересует, как нейронные цепи контролируют поведение и, в частности, как животные адаптируются к быстрым изменениям в окружающей их среде», – говорит Матис.
"Например, вы наливаете кофе в кружку, и когда она полная, она имеет определенный вес. Но по мере того, как вы его пьете, вес меняется, но вам не нужно активно думать об изменении силы захвата или о том, насколько вам нужно поднять руку, чтобы дотянуться до рта. Мы делаем это очень естественно, и мы можем очень быстро адаптироваться к этим изменениям.
Но на самом деле это связано с огромным количеством взаимосвязанных нейросхем, от коры головного мозга до спинного мозга."
DLC-Live!, новое обновление современного «пакета оценки позы животных», который использует специализированные сети для прогнозирования положения животных на основе видеокадров, что обеспечивает скорость до 2500 кадров в секунду на стандартном графическом процессоре.
Его высокопроизводительный анализ делает его бесценным для изучения и исследования нейронных механизмов поведения. Теперь, с этим новым пакетом, его низкая задержка позволяет исследователям давать обратную связь с животными в режиме реального времени и тестировать поведенческие функции определенных нейронных цепей. И, что более важно, он может взаимодействовать с оборудованием, используемым в исследованиях осанки, чтобы обеспечивать обратную связь с животными.
«Это важно для вещей в нашей собственной исследовательской программе, где вы хотите иметь возможность манипулировать поведением животного», – говорит Матис. «Например, в одном поведенческом исследовании, которое мы проводим, мы обучаем мышь играть в видеоигру в лаборатории, и мы хотим отключить определенные нейроны или мозговые цепи в действительно определенном временном окне, т.е.е., активировать лазер для оптогенетики или вызвать внешнее вознаграждение."
"Мы хотели сделать DLC-Live! супер-удобный и позволяет работать с любыми видами в любых условиях ", – добавляет она. "Он действительно модульный и может использоваться во множестве различных контекстов; человек, проводящий эксперименты, может довольно легко настроить условия и то, что они хотят запускать, с помощью нашего графического пользовательского интерфейса.
И мы также добавили возможность использовать его с другими распространенными платформами нейробиологии.«Две из этих часто используемых платформ – это Bonsai и Autopilot, и в статье Матис и ее коллеги, разработавшие эти программные пакеты, показывают, как DLC-Live! легко с ними работать.
«Он экономичен, масштабируем, и мы надеемся, что это технический прогресс, который позволяет задать еще больше вопросов о том, как мозг контролирует поведение», – говорит Матис.