Новый эксперимент приближает время, когда парализованные люди смогут полноценно общаться при помощи декодируемой мысленной речи. Возможно, развиваемый метод также пригодится для налаживания связи с пациентами, находящимися в коме или состоянии минимального сознания. Пока, правда, технология сырая и делает первые шаги.
Брайан Пэйсли (Brian Pasley), Роберт Найт (Robert Knight) и их коллеги из Калифорнийского университета в Беркли воспользовались помощью 15 пациентов, которым делали операции на мозге в связи с опухолью или эпилепсией.
Этим добровольцам вживили 256 электродов в верхнюю (STG) и среднюю (MTG) височные извилины, где находятся зоны, отвечающие за восприятие звуков, в том числе – понимание речи.
Учёные решили прояснить, как реагируют клетки в этих областях, когда человек слышит слова. А дальше авторы работы составили программу, способную синтезировать звуки по картине активности коры.
Общий подход, применённый калифорнийской командой, был идентичен тому, что использовался в опыте с чтением из мозга зрительных образов.
Сначала испытуемые прослушивали по 5-10 минут разговоров, а в это время компьютер записывал сигналы с электродов. Затем, после наработки обширной библиотеки соответствий, исследователи создали две пробные модели, способные реконструировать звуки, которые слышит пациент, по одной лишь активности нейронов.
При этом учёные выявили в картине отклика клеток реакцию на узкие полосы звуковых частот. Потому программа не узнавала отдельные шаблонные слова путём простого сравнения, но спускалась на уровень глубже – она восстанавливала спектрограмму слов. И важно, что это могли быть слова, ранее не использованные в эксперименте.
В результате компьютер выдаёт восстановленную спектрограмму (внизу слева). Она показывает распределение мощности акустического сигнала (отражено цветом на диаграмме) в зависимости от частоты (шкала по вертикали, кГц) и времени (по горизонтали, секунды) (иллюстрация Brian N. Pasley et al./ PLoS Biology).
Для проверки правильности реконструкции синтезированная спектрограмма сравнивалась со спектрограммой воспроизведённого через динамики исходного слова, а ещё – переводилась в реальный звук.
Оказалось, что машина позволяет восстанавливать произвольное слово с приемлемой степенью похожести (что оценивалась и на слух) после всего одного предъявления этого слова испытуемому.
(Подробности эксперимента можно найти в статье в PLoS Biology.)
«У этой работы двухсторонний характер. — заявил Найт. – Это фундаментальная наука, понимание того, как работает мозг. А цель – протезы для людей с нарушениями речи. Аппарат воспроизводил бы то, что они не могут произнести, но могут представить, что они хотят сказать».
Пэйсли пояснил идею: «Существует ряд доказательств, что при прослушивании звука и воображении звука активируются аналогичные области головного мозга. Если вы можете понять отношения между мозговой записью и звуками, вы способны либо синтезировать звук, о котором человек думает, либо просто написать слова».
Брайан сравнил данную технику со способностями профессионального пианиста, который может просто смотреть на клавиши под пальцами другого музыканта, находящегося в звуконепроницаемой комнате, и «слышать» музыку.
Добавим, что исследователи не первый раз экспериментируют с сопоставлением услышанных или произносимых про себя слов с рисунком активности нейронов. Ранее учёные уже записывали отпечатки звуков в коре головного мозга и извлекали из головы парализованного и немого человека отдельные форманты.
Распознавание нескольких слов тоже достигнуто. Но словарный запас той программы невелик, да и точность работы невысока.
Есть такое! Впервые столкнулся с подобным, когда с подругой (она дирижер) зашли в магазин «Ноты», очень долго ходили по рядам, я уже заскучал, пока она листала партитуры. Потом спросил, почему так долго, а она ответила, мол, слушаю, что можно интересного сыграть.
Вы, что когда читаете книгу, не озвучиваете и не раскрашиваете у себя в голове описываемое?
Тмбр голосов и интонации, густота тени и оттенки цветов, силу ветра, тепло солнца и стоящего рядом человека и т.д.?
Я, что один такой?
0о
Ваше воображение — это здорово. Но тут речь идёт о том, как сделать так, чтобы я увидел именно то, что вы придумали. Если я скажу «красивая картина», то вероятность того, что мы представим один и тот же образ стремится к нулю.
PS: Техники скорочтения исключают произношение, представление и прочее дополнение прочитанного, оставляя лишь сухую информацию, которая отлично запоминается и быстро усваивается. Думаю, что вам эта техника бы не понравилась....
Пробовал — отвратительно.
Книги одно из немногих удовольствий, в котором я терпеть ненавижу технологии.
Только бумага, тишина, покой, легкая музыка на заднем плане, рюмка эээ чая в руке, хорошие сигареты.
Вот любопытно, смогли бы вы увидеть, то, о чем я прочел и представил себе?
Ведь ни для кого ни секрет, что мы все не только воспринимаем внешний мир немного по разному, независимо от того какой сигнальной системой пользуемся добиться идентичности информации даже в такой примитивной системе восприятие>передача>восприятие практически нереально.
Все люди не только лгут, мы все без исключения искажаем, упрощаем и т.д. информацию как во время получения, так и во время передачи, плюс барьеры и помехи, и т.д.
Игру в поломанный телефон помните?
Думаете это не имеет ничего общего с вами лично?
Убежден ,что читая эти слова в головах у каждого из нас звучат разные голоса, и оживают разные картинки.
Ну и эмоции возникают тоже разные.
Я против кастрации воображения.
Если автор заложил в книгу что то способное вызвать ужас, отвращение и прочие отрицательные эмоции, то наверное это сделано не для того, чтобы доставить ему удовольствие, а нам страдания, а для адекватного восприятия той идеи которую он стремился до нас донести.
Но уж очень хочется надеяться на то, что когда-нибудь эти технические трудности будут преодолены.
А вообще-то, на современном технологическом уровне, мне думается, уже можно организовать вживление совершенно щадящими методами, без распиливания черепушек.
И, если задаться целью, даже при полной автоматизации. Сунул голову в аппарат, посмотрел фильм — и домой, со вживленным интерфейсом :) Сначала будет дороговато, как томография поначалу, потом станет на уровне «сделать татуировку», как томография сейчас. И вживляться поначалу будут какие-нибудь золотые нити с титановыми разъемами за ухом, а потом вообще оптические волокна в органической оболочке будут выводиться на поверхность кожи, и оттуда считываться дистанционно.
Кстати, интересно вот что — для индустрии, видимо, выгоднее не звуки, а запахи передавать. Для компьютерных игр :) ведь в них эта сфера — поле непаханое... Надо к зонам запахов прицепляться, и технология станет востребована игроманами, а значит пойдет в серию, и станет дешевой и отлаженной на их мозгах :)
Фигушки... вы просто не заметили маленький такой приборчик при входе в магазин.
но не стоит так постоянно и навязчиво демонстрировать всем какое у тебя ненасытное либидо.
заметь, я ни словом не упомянул твою гидроцефалию и аллахоепство.
прими, значицца, как знак добрых намерений, и закрой рот наконец.
но не стоит так постоянно и навязчиво демонстрировать всем какое у тебя ненасытное либидо.
заметь, я ни словом не упомянул твою гидроцефалию и аллахоепство.
прими, значицца, как знак добрых намерений, и закрой рот наконец.»
_Взаимно. Пуп Земли? Великий инквизитор дарвинизма?
Все мы с трудом переносим вмешательство в храм нашего тела ,а уж в святыню мозга и подумать боязно.
Пусть даже грош цена тем мозгам, но это ведь все, то мы есть.
И не быть или измениться и возможно даже не осознавать это... такая мысль пугает.
Ужасает даже.
Так что никаких разъемов в голове. увольте.
Скажем, я не вижу смысла для себя в подобном вживлении, даже когда его научат набирать тексты или произносить «вымышленные» слова. Овчинка не стоит выделки, риск значительно превышает профит.
Но если тело откажет, и мне вдруг присветит перспектива годами видеть только потолок палаты, не в состоянии даже сказать «Ы», ожидая вырубона аппаратуры жизнеобеспечения, тогда — всеми конечностями за вживление коммуникатора. Вот только тогда оными конечностями подёргать уже не получится...
и врядли дойдёте в ближайшие
ее тысячелетие. Если не одно событие правда. Но тем не менее — в будущем человек не будет человеком в прямом смысле этого слова. То, что здесь описано — это лишь одна тысячная часть программы. Всё будет основано на органике, чем на кибернетике. Для некоторых подвидов будет уже возможно общение телепатическое. Но, вы, читающие это... Эх, жаль что вы так мало можете знать...