Нейробиологи воссоздали динамические зрительные образы, возникавшие в голове во время просмотра случайно отобранных видеороликов. В будущем такая технология поможет медикам наблюдать на экране галлюцинации пациентов, а богатым чудакам — выкладывать свои сны на YouTube.
Фантастический результат получен в Калифорнийском университете в Беркли: испытуемым показывали разные ролики с YouTube (фрагменты кинолент, трейлеры и прочее), в то время как магнитно-резонансный томограф детально записывал активность клеток в различных частях зрительной коры. По этой информации учёные сумели реконструировать просмотренные кадры в цвете и динамике (смотрите впечатляющий ролик в конце материала).
Качество этих восстановленных роликов может кому-то показаться неважным, но это несравненно лучше и точнее, чем то, что удалось получить «из головы» человека в первом эксперименте такого типа.
Учёные, создавшие новую программу распознавания мысленных образов, сами поочерёдно выступали в роли подопытных, поскольку им приходилось проводить внутри томографа по многу часов за раз, передаёт MedicalXpress.
Для начала исследователи записали картину мозговой активности при просмотре ряда трейлеров голливудских фильмов. Биологи построили трёхмерную компьютерную модель мозга с группами клеток (вокселями) и записали, как каждый воксель реагирует на изменение форм и движение предметов на экране. Так удалось получить грубое соответствие визуальной информации и процесса её обработки в коре мозга.
Для тестирования и доводки алгоритма учёные скормили ему тысячи часов от миллионов случайно взятых роликов со всё того же сервиса YouTube, получив на выходе обратный результат — смоделированную активность мозга, которая наблюдалась бы, если человек просматривал бы эти ролики.
Наконец, алгоритм снова обратили. При просмотре людьми в томографе тестового видео компьютер подбирал из Сети 100 роликов, которые с наибольшей вероятностью должны были вызвать именно такую картину активности клеток. Далее секунда за секундой программа смешивала кадры из этих роликов, получая размытое результирующее кино, неплохо совпадавшее с тем, что человек наблюдал в реальности.
(Подробности опыта можно найти в статье в Current Biology и преcс-релизе университета.)
«Так мы открываем окно в кино, идущее в нашем сознании», — говорит один из авторов работы Джек Галлант (Jack Gallant). Кстати, Галлант известен нам по опыту с распознаванием при помощи сканирования мозга увиденных фотографий.
Учёные объясняют, почему распознавание мыслей при помощи магнитной томографии трудно реализовать. Одна из проблем — сканер регистрирует изменения в кровотоке через кору, а они происходят гораздо медленнее, чем меняются нервные сигналы.
Потому-то ранее такой трюк удавалось проворачивать лишь со статичными картинками. «Мы решили эту проблему, создав двухступенчатую модель, которая описывает отдельно нервные клетки и сигналы кровотока», — говорит Синдзи Нисимото (Shinji Nishimoto), ведущий автор исследования.
До практического применения новой технологии может пройти десятилетие. Но уже в таком, сыром виде она способна помочь нейрофизиологам лучше разобраться, что происходит в голове человека.
В голове, конечно, человек видит то, что видит. Но учёные не могут напрямую перевести сигналы клеток в изображение. Им приходиться перебором выбирать сто роликов, наиболее похожих по «библиотечной» картине активности клеток, и потом, покадрово, секунда за секундой гибридизировать эту сотню, для получения кадра, наиболее близкого к тому, что видит человек в томографе в данный момент времени.
Снятую с томографа картину сравнивали с роликами ютуба... А спрашивается, зачем? Может правильнее было бы подержать испытуемых месяц без визуализации, затем сделать последовательный показ 100 роликов и уже после этого снимать данные томографа (что бы потом с этими роликами их и сравнивать)?
Мне казалось, что визуализация мысленных образов, вот что интересно. Выше я указал схему (очень приблизительную) эксперимента, который был бы направлен именно на это, а не на то как правильно софт из Сети подберет ролик (при том, что ролики он неправильно подбирал).
Это как снимать живых актеров, и затем обрабатывать видео так, что бы они стали похожи на 3Д-модели.
Фактически это и есть реконструкция зрительных образов, но только в программе их декодировки задействован алгоритм, сопоставлений картину с найденными ранее корреляциями между динамикой пятен и активностью групп клеток в мозге.
Но возник другой вопрос — сканировали определенный участок мозга, пусть и наиболее связанный со зрением. Интересно, где они проводили границу между довольно-таки сложной зрительной корой и другими частями мозга? Может, если сканировать больше мозга и качество картинки будет не таким размытым (ну это уже так, в порядке бреда)...
А пока — это пробный шар, так сказать, «бюджетный»
Тут видимо тот же прикол что с распознаванием символов программами — старые искали целые буквы (и не особо точно работали), а новые ищут элементы их начертания.
А вот по второму вопросу — тут есть некторое рациональное зерно. И даже вполне открытаяработа с похожей идеей www.membrana.ru/particle/2585
Пусть со в сто раз худшей детализацией.
хотя детализация хуже некуда и так
Аналогично можно просто попытаться создать метод регистрации нейронной активности, позволяющий видеть картину работы мозга в реальном времени без всякого перебора фильмов, сравнения и прочего.
А потом создать алгоритм преобразования картины в зрительной коре в синтезированное изображение.
Речь идёт о регистрации активности зрительных нейронов, которые во сне скорее всего отдыхают, работает память, причём долговременная, которая там по определению не может находиться, иначе эти нейроны не смогли бы регистрировать новые впечатления с частотой 24 кадра в секунду