Учёные оцифровали мозг мухи и заставили играть в Doom и Mario 64

Компания Google Research вместе с HHMI Janelia и другими исследователями опубликовала подробную карту центральной нервной системы взрослой самца дрозофилы. В неё вошли более 166 тысяч нейронов и около 125 миллионов синаптических связей. Датасет создавался как инструмент для нейробиологов, однако почти сразу после публикации программисты нашли ему куда менее академическое применение: цифровую модель мозга мухи подключили к Doom и Super Mario 64.

Проект получил название MaleCNS v1.0. Для его создания исследователи использовали миллионы двумерных изображений нервной ткани, которые при помощи вычислительных методов и ИИ преобразовали в трёхмерные структуры, а затем проверили вручную. В результате получился своего рода подробный «план проводки» мозга и брюшной нервной цепочки дрозофилы — аналога спинного мозга у позвоночных. Google рассчитывает, что карта позволит лучше понять, как сенсорные сигналы превращаются в движение и поведение.

Цифровой мозг мухи подключили к Doom

Одним из первых необычный эксперимент провёл разработчик Алекс Вормут. В его проекте Doomfly каждый кадр из игровой среды преобразуется в сигналы для смоделированных зрительных нейронов мухи. Возникающая активность распространяется по реконструированной нейронной сети, после чего определённые сигналы переводятся в команды персонажу — движение, повороты и стрельбу. Когда игрок получает урон, система дополнительно стимулирует две дофаминовые клетки PPL101, что используется как экспериментальный механизм обратной связи.

Звучит так, будто муха уже учится расстреливать демонов, но пока до этого далеко. Сам автор проекта подчёркивает, что Doomfly ещё не продемонстрировал способность самостоятельно научиться выживать в игре. В опубликованном репозитории указано, что один из последних вариантов модели не прошёл проверки на обучение зрению, обусловливание и выживание. Иными словами, сейчас это прежде всего эксперимент по взаимодействию биологического коннектома с виртуальной средой, а не полноценный игрок в Doom.

Причём используется не обычная сюжетная кампания Doom. Разработчик создал специальную арену на движке игры, где можно наблюдать за поведением модели в контролируемых условиях. Это позволяет проверять, меняется ли её реакция на изображение и отрицательную обратную связь со временем.

А другая модель пытается пройти Super Mario 64

Почти одновременно разработчица Джессика Пакетт подключила тот же набор данных к Super Mario 64. Здесь система работает по похожему принципу: игровой мир передаёт изображения цифровому «зрению» мухи, нервная активность обрабатывается моделью, а затем превращается в команды контроллера Марио. В опубликованной демонстрации результат пока выглядит соответствующе ранней стадии эксперимента — персонаж двигается, прыгает и периодически упирается в стены.

Пакетт не скрывает экспериментального характера проекта. В описании открытого кода она пишет, что сделала его «просто ради интереса», а сам код был практически полностью создан при помощи GPT Astra и даже не проходил полноценную ручную проверку. Для запуска используются одновременно сама игра, модель нервной системы и отдельная панель наблюдения, а виртуальная муха получает собственную систему камер внутри мира Mario 64.

Самое интересное здесь не в том, сможет ли в итоге «мозг мухи» пройти Doom или собрать звезду в Mario. Ещё несколько дней назад MaleCNS v1.0 был в первую очередь огромным научным набором данных для изучения нервной системы. После публикации разработчики практически мгновенно превратили его в открытую экспериментальную платформу, которую уже подключают к видеоиграм и другим виртуальным средам.

И пока Марио, управляемый дрозофилой, в основном знакомится со стенами, сам эксперимент хорошо показывает необычную новую возможность: вместо искусственно созданной нейросети программисты могут взять реконструкцию реальной биологической нервной системы и посмотреть, что произойдёт, если поместить её в цифровой мир.

Читайте также на LeaksMedia: Робот-утёнок за $399 выходит на рынок. Он падает, встаёт и пытается стать вашим другом