Учёные впервые расшифровали произвольные слова в мозге

Рентгеновская томограмма головы добровольца с установленным массивом электродов (фото Adeen Flinker, UC Berkeley).

Новый эксперимент приближает время, когда парализованные люди смогут полноценно общаться при помощи декодируемой мысленной речи. Возможно, развиваемый метод также пригодится для налаживания связи с пациентами, находящимися в коме или состоянии минимального сознания. Пока, правда, технология сырая и делает первые шаги.

Брайан Пэйсли (Brian Pasley), Роберт Найт (Robert Knight) и их коллеги из Калифорнийского университета в Беркли воспользовались помощью 15 пациентов, которым делали операции на мозге в связи с опухолью или эпилепсией.

Этим добровольцам вживили 256 электродов в верхнюю (STG) и среднюю (MTG) височные извилины, где находятся зоны, отвечающие за восприятие звуков, в том числе – понимание речи.

Учёные решили прояснить, как реагируют клетки в этих областях, когда человек слышит слова. А дальше авторы работы составили программу, способную синтезировать звуки по картине активности коры.

Общий подход, применённый калифорнийской командой, был идентичен тому, что использовался в опыте с чтением из мозга зрительных образов.

Сначала испытуемые прослушивали по 5-10 минут разговоров, а в это время компьютер записывал сигналы с электродов. Затем, после наработки обширной библиотеки соответствий, исследователи создали две пробные модели, способные реконструировать звуки, которые слышит пациент, по одной лишь активности нейронов.

При этом учёные выявили в картине отклика клеток реакцию на узкие полосы звуковых частот. Потому программа не узнавала отдельные шаблонные слова путём простого сравнения, но спускалась на уровень глубже – она восстанавливала спектрограмму слов. И важно, что это могли быть слова, ранее не использованные в эксперименте.

Схема эксперимента. Электроды на поверхности коры (красные точки справа) записывают сигнал от нейронов в то время, когда человек слушает речь в динамиках (образец слева). Изменение потенциала во времени (внизу справа) накладывается на модель реконструкции звука (внизу в центре).

В результате компьютер выдаёт восстановленную спектрограмму (внизу слева). Она показывает распределение мощности акустического сигнала (отражено цветом на диаграмме) в зависимости от частоты (шкала по вертикали, кГц) и времени (по горизонтали, секунды) (иллюстрация Brian N. Pasley et al./ PLoS Biology).

Для проверки правильности реконструкции синтезированная спектрограмма сравнивалась со спектрограммой воспроизведённого через динамики исходного слова, а ещё – переводилась в реальный звук.

Оказалось, что машина позволяет восстанавливать произвольное слово с приемлемой степенью похожести (что оценивалась и на слух) после всего одного предъявления этого слова испытуемому.

(Подробности эксперимента можно найти в статье в PLoS Biology.)

«У этой работы двухсторонний характер. — заявил Найт. – Это фундаментальная наука, понимание того, как работает мозг. А цель – протезы для людей с нарушениями речи. Аппарат воспроизводил бы то, что они не могут произнести, но могут представить, что они хотят сказать».

Пэйсли пояснил идею: «Существует ряд доказательств, что при прослушивании звука и воображении звука активируются аналогичные области головного мозга. Если вы можете понять отношения между мозговой записью и звуками, вы способны либо синтезировать звук, о котором человек думает, либо просто написать слова».

Брайан сравнил данную технику со способностями профессионального пианиста, который может просто смотреть на клавиши под пальцами другого музыканта, находящегося в звуконепроницаемой комнате, и «слышать» музыку.

А) Шесть слов для примера. Вверху — исходные спектрограммы, внизу – реконструированные. Шкалы: килогерцы по вертикали, секунды по горизонтали. B) Отклик нейронов на один из звуковых образцов. C) Распределение веса сигналов от разных групп клеток (цветная шкала) в модели реконструкции звука. Пунктирный прямоугольник – область с задействованными в опыте электродами. Масштабная линейка – 1 см (иллюстрация Brian N. Pasley et al./ PLoS Biology).

Добавим, что исследователи не первый раз экспериментируют с сопоставлением услышанных или произносимых про себя слов с рисунком активности нейронов. Ранее учёные уже записывали отпечатки звуков в коре головного мозга и извлекали из головы парализованного и немого человека отдельные форманты.

Распознавание нескольких слов тоже достигнуто. Но словарный запас той программы невелик, да и точность работы невысока.



Армия США заказала для солдат биологические маски

1 февраля 2012

Впервые в мягких биологических тканях обнаружено сегнетоэлектричество

31 января 2012

Учёные создали медицинский датчик с питанием от рэп-музыки

30 января 2012

Химики создали микроракеты на водородных пузырьках

20 января 2012

Учёные впервые запрограммировали стволовые клетки пуповины

19 января 2012
  • Арсений Иванов  1 февраля, 15:27
    > Брайан сравнил данную технику со способностями профессионального пианиста, который может просто смотреть на клавиши под пальцами другого музыканта, находящегося в звуконепроницаемой комнате, и «слышать» музыку.

    Есть такое! Впервые столкнулся с подобным, когда с подругой (она дирижер) зашли в магазин «Ноты», очень долго ходили по рядам, я уже заскучал, пока она листала партитуры. Потом спросил, почему так долго, а она ответила, мол, слушаю, что можно интересного сыграть.

    ОтветитьНравится
  • Антон Брандт  1 февраля, 17:03
    И что в этом удивительного?
    Вы, что когда читаете книгу, не озвучиваете и не раскрашиваете у себя в голове описываемое?
    Тмбр голосов и интонации, густота тени и оттенки цветов, силу ветра, тепло солнца и стоящего рядом человека и т.д.?
    Я, что один такой?
    ОтветитьНравится
  • Арсений Иванов  1 февраля, 17:18
    У меня другая профессия. Я вижу другие недоступные большинству вещи. Я другой, поэтому меня удивляют способности отличные от моих. Разве так не у всех?)

    Ваше воображение — это здорово. Но тут речь идёт о том, как сделать так, чтобы я увидел именно то, что вы придумали. Если я скажу «красивая картина», то вероятность того, что мы представим один и тот же образ стремится к нулю.

    PS: Техники скорочтения исключают произношение, представление и прочее дополнение прочитанного, оставляя лишь сухую информацию, которая отлично запоминается и быстро усваивается. Думаю, что вам эта техника бы не понравилась....

    ОтветитьНравится
  • Анатолий Алексеев  1 февраля, 17:49
    Ого, круто!
    ОтветитьНравится
  • Анатолий Алексеев  1 февраля, 17:50
    Это тоже круто! Правда, описание всяких гадостей при таком воображении чиатть категорически противопоказано :-)
    ОтветитьНравится
  • Антон Брандт  1 февраля, 18:11
    Мне и не нравятся.
    Пробовал — отвратительно.
    Книги одно из немногих удовольствий, в котором я терпеть ненавижу технологии.
    Только бумага, тишина, покой, легкая музыка на заднем плане, рюмка эээ чая в руке, хорошие сигареты.

    Вот любопытно, смогли бы вы увидеть, то, о чем я прочел и представил себе?

    Ведь ни для кого ни секрет, что мы все не только воспринимаем внешний мир немного по разному, независимо от того какой сигнальной системой пользуемся добиться идентичности информации даже в такой примитивной системе восприятие>передача>восприятие практически нереально.
    Все люди не только лгут, мы все без исключения искажаем, упрощаем и т.д. информацию как во время получения, так и во время передачи, плюс барьеры и помехи, и т.д.
    Игру в поломанный телефон помните?
    Думаете это не имеет ничего общего с вами лично?
    Убежден ,что читая эти слова в головах у каждого из нас звучат разные голоса, и оживают разные картинки.
    Ну и эмоции возникают тоже разные.

    ОтветитьНравится
  • Антон Брандт  1 февраля, 18:14
    Категорически не согласен.
    Я против кастрации воображения.
    Если автор заложил в книгу что то способное вызвать ужас, отвращение и прочие отрицательные эмоции, то наверное это сделано не для того, чтобы доставить ему удовольствие, а нам страдания, а для адекватного восприятия той идеи которую он стремился до нас донести.
    ОтветитьНравится
  • Иван Петров  1 февраля, 15:53
    Пока данная технология использует вживляемые чипы, не стоит ждать её массового повсеместного использования, разве что, как уже было сказано, использовать её для работы над тяжело больными людьми.
    Но уж очень хочется надеяться на то, что когда-нибудь эти технические трудности будут преодолены.
    ОтветитьНравится
  • Алан Гибизов  1 февраля, 17:48
    Нанороботы ;) нам помогут. Как только появятся...

    А вообще-то, на современном технологическом уровне, мне думается, уже можно организовать вживление совершенно щадящими методами, без распиливания черепушек.
    И, если задаться целью, даже при полной автоматизации. Сунул голову в аппарат, посмотрел фильм — и домой, со вживленным интерфейсом :) Сначала будет дороговато, как томография поначалу, потом станет на уровне «сделать татуировку», как томография сейчас. И вживляться поначалу будут какие-нибудь золотые нити с титановыми разъемами за ухом, а потом вообще оптические волокна в органической оболочке будут выводиться на поверхность кожи, и оттуда считываться дистанционно.

    Кстати, интересно вот что — для индустрии, видимо, выгоднее не звуки, а запахи передавать. Для компьютерных игр :) ведь в них эта сфера — поле непаханое... Надо к зонам запахов прицепляться, и технология станет востребована игроманами, а значит пойдет в серию, и станет дешевой и отлаженной на их мозгах :)

    ОтветитьНравится
  • Борис Минтарский  1 февраля, 21:21
    А может... она, технология эта... уже того??? Применяется рекламщиками? Влезают дистанционно в мозг, стимулируют нейроны... заставляют покупать то, да сё... Вы думаете, что это вы решили сделать то-то и то-то?
    Фигушки... вы просто не заметили маленький такой приборчик при входе в магазин.
    ОтветитьНравится
  • Алан Гибизов  3 февраля, 14:25
    Едва ли. Потому что на Мембране ничего такого не писали :)
    ОтветитьНравится
  • Shamil Dzhanbolatov  5 февраля, 01:50
    Магнитная антенна, возможно поможет.
    ОтветитьНравится
  • Александр Иерархов  5 февраля, 01:55
    Ферритовая... :)))
    ОтветитьНравится
  • Антон Брандт  5 февраля, 02:17
    шамиль, всей мембране давно известно что слово «магнит» и вызванные им асоциации являются для тебя фетишем.
    но не стоит так постоянно и навязчиво демонстрировать всем какое у тебя ненасытное либидо.
    заметь, я ни словом не упомянул твою гидроцефалию и аллахоепство.
    прими, значицца, как знак добрых намерений, и закрой рот наконец.
    ОтветитьНравится
  • Shamil Dzhanbolatov  5 февраля, 23:42
    Да :-)
    ОтветитьНравится
  • Shamil Dzhanbolatov  5 февраля, 23:44
    «шамиль, всей мембране давно известно что слово «магнит» и вызванные им асоциации являются для тебя фетишем.
    но не стоит так постоянно и навязчиво демонстрировать всем какое у тебя ненасытное либидо.
    заметь, я ни словом не упомянул твою гидроцефалию и аллахоепство.
    прими, значицца, как знак добрых намерений, и закрой рот наконец.»

    _Взаимно. Пуп Земли? Великий инквизитор дарвинизма?

    ОтветитьНравится
  • Алексей Заплатин  14 февраля, 16:27
    Есть значительная разница между получением сообщения из мозга и его передачей обратно.
    ОтветитьНравится
  • Антон Брандт  1 февраля, 18:19
    Дело не в распиливании, а в мозге.
    Все мы с трудом переносим вмешательство в храм нашего тела ,а уж в святыню мозга и подумать боязно.
    Пусть даже грош цена тем мозгам, но это ведь все, то мы есть.
    И не быть или измениться и возможно даже не осознавать это... такая мысль пугает.
    Ужасает даже.
    Так что никаких разъемов в голове. увольте.
    ОтветитьНравится
  • Анатолий Матях  2 февраля, 10:09
    Так-то оно так, но наше тело и мозг меняются постоянно и неконтролируемо. Этот процесс ещё называют «жизнью». Так что, думаю, найдётся достаточно много народу, желающего внести контролируемые изменения.

    Скажем, я не вижу смысла для себя в подобном вживлении, даже когда его научат набирать тексты или произносить «вымышленные» слова. Овчинка не стоит выделки, риск значительно превышает профит.

    Но если тело откажет, и мне вдруг присветит перспектива годами видеть только потолок палаты, не в состоянии даже сказать «Ы», ожидая вырубона аппаратуры жизнеобеспечения, тогда — всеми конечностями за вживление коммуникатора. Вот только тогда оными конечностями подёргать уже не получится...

    ОтветитьНравится
  • Анатолий Матях  2 февраля, 10:11
    P.S. Вообще-то у меня какеготамфобия про целостность тела, здорово дёргает даже от чужого пирсинга, а поднесение шприца к заднице даёт заряд адреналина не хуже падения бомбы. Но вот в случае «полный П» — да хоть в консервную банку, лишь бы жить и общаться.
    ОтветитьНравится
  • Алекс Рамен  10 февраля, 14:44
    Открою вам секрет. До этого вы ещё не дошли
    и врядли дойдёте в ближайшие
    ее тысячелетие. Если не одно событие правда. Но тем не менее — в будущем человек не будет человеком в прямом смысле этого слова. То, что здесь описано — это лишь одна тысячная часть программы. Всё будет основано на органике, чем на кибернетике. Для некоторых подвидов будет уже возможно общение телепатическое. Но, вы, читающие это... Эх, жаль что вы так мало можете знать...
    ОтветитьНравится
  • Алексей Заплатин  14 февраля, 16:29
    Соглашаюсь с тобой от части, но прошу тебя вспомнить о том, что ни ты, ни они в текущем воплощении не увидят этого мира. А в последующих — кто знает КОГДА ты будешь рождаться. Возможно мир, в котором воплощаются боги — мир будущего.
    ОтветитьНравится