«Мы изучаем нейронные сети с пиковыми сигналами, то есть системы, которые обучаются так же, как и живой мозг», – сказал специалист по информатике из Национальной лаборатории Лос-Аламоса Ицзин Уоткинс. «Мы были очарованы перспективой обучения нейроморфного процессора способом, аналогичным тому, как люди и другие биологические системы учатся у окружающей среды в детстве."
Уоткинс и ее исследовательская группа обнаружили, что сетевое моделирование стало нестабильным после продолжительных периодов обучения без учителя. Когда они подвергли сети воздействию состояний, аналогичных волнам, которые испытывает живой мозг во время сна, стабильность была восстановлена. «Это выглядело так, как если бы мы обеспечивали нейронные сети эквивалентом хорошего ночного отдыха», – сказал Уоткинс.
Открытие произошло, когда исследовательская группа работала над разработкой нейронных сетей, которые точно соответствуют тому, как люди и другие биологические системы учатся видеть. Группа изначально боролась со стабилизацией моделируемых нейронных сетей, проходящих неконтролируемое обучение по словарю, которое включает в себя классификацию объектов без предварительных примеров для их сравнения.
«Проблема того, как удержать обучающие системы от нестабильности, на самом деле возникает только при попытке использовать биологически реалистичные нейроморфные процессоры или при попытке понять саму биологию», – сказал ученый-компьютерщик из Лос-Аламоса и соавтор исследования Гарретт Кеньон. «Подавляющее большинство исследователей машинного обучения, глубокого обучения и искусственного интеллекта никогда не сталкиваются с этой проблемой, потому что в тех самых искусственных системах, которые они изучают, они могут позволить себе роскошь выполнять глобальные математические операции, которые регулируют общий динамический выигрыш системы."
Исследователи характеризуют решение подвергнуть сети искусственному аналогу сна как почти последнюю попытку их стабилизации. Они экспериментировали с различными типами шума, примерно сопоставимого со статикой, которую вы можете встретить между станциями при настройке радио. Наилучшие результаты были получены при использовании волн так называемого гауссова шума, который включает широкий диапазон частот и амплитуд. Они предполагают, что шум имитирует вход, получаемый биологическими нейронами во время медленноволнового сна.
Результаты показывают, что медленноволновой сон может частично гарантировать, что корковые нейроны сохраняют свою стабильность и не вызывают галлюцинации.
Следующая цель группы – реализовать свой алгоритм на нейроморфном чипе Intel Loihi. Они надеются, что время от времени позволяя Лоихи спать, он сможет стабильно обрабатывать информацию с кремниевой камеры сетчатки глаза в реальном времени.
Если результаты подтвердят необходимость сна в искусственном мозге, мы, вероятно, можем ожидать, что то же самое будет и с андроидами и другими интеллектуальными машинами, которые могут появиться в будущем.
Уоткинс представит исследование на семинаре «Женщины в компьютерном зрении» 14 июня в Сиэтле.