Учёные испытали звуковые очки для незрячих

Доктор Амеди (на снимке) не только лично испытал новый прибор, но и провёл серию тестов со слепыми добровольцами. Результаты оказались интересны для медицины и нейрофизиологии (фото Institute for Medical Research Israel-Canada, Hebrew University of Jerusalem).

Новый прибор использует своего рода обман или иллюзию. Он помогает слепому человеку выстраивать картину мира по набору звуков. Изобретение это раскрыло перед исследователями новые грани пластичности мозга человека.

Доктор Амир Амеди (Amir Amedi) и его коллеги из Еврейского университета в Иерусалиме создали устройство подмены восприятия (sensory substitution device — SSD), которое позволяет слепым людям в некотором смысле видеть окружающую обстановку.

Минувшим летом доктор Амеди (справа) представил свой проект президенту Израиля Шимону Пересу (в центре) и президенту Еврейского университета в Иерусалиме Менахему Бен-Сасону (Menachem Ben-Sasson) (фото Hebrew University of Jerusalem).

В основе SSD лежит миниатюрная камера на очках, подключённая к небольшому компьютеру либо смартфону. Программа, разработанная группой Амеди, преобразует визуальную информацию в набор звуковых сигналов.

Базовые правила их формирования довольно просты. Скажем, контрастная линия, идущая слева направо и вверх, может быть отражена сигналом с нарастающим тоном, а линия, идущая вниз, – звуком с постепенно понижающейся частотой.

После непродолжительных тренировок человек может научиться понимать, о чём ему сообщает прибор, утверждают разработчики системы.

Испытания показали, что с SSD слепой способен распознавать бытовые предметы, находить людей и определять их позы, различать простенькую компьютерную графику (типа «лицо», «дом») и даже читать крупные буквы и целые слова.

Это достижение – существенное продвижение вперёд по сравнению с предыдущим проектом Амеди – портативной «виртуальной тростью» (Virtual Cane), представленной летом 2011 года.

Привыкая к восприятию обстановки по звуку, слепой человек учится формировать в голове картинку, которую с некоторой степенью достоверности можно было бы назвать зрительной (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Ещё в тот раз Амир и его соратники отметили, что слепые люди пользуются таким прибором более ловко, чем обычные испытатели с чёрной повязкой на глазах.

Причина вроде бы лежит на поверхности: слух у незрячих развит намного сильнее, чем у видящих, потому слепые лучше чувствуют тонкие вариации в звуке, его тональности, пространственном расположении источников.

Однако исследования, проведённые недавно Амеди, показали, что дело обстоит не совсем так. Работа мозга в случае такой замены — куда сложнее.

Ресурс Inhabitat логично сравнивает SSD с прибором VISOR (Visual Instrument and Sensory Organ Replacement) из фантастического сериала Star Trek: The Next Generation. Его носил слепой от рождения инженер Джорди Ла Форж (Geordi La Forge).

Правда, VISOR передавал сигналы в мозг через нейроимплантат. Но общая идея схожа: нужно отснять картинку местности, преобразовать по неким правилам и доставить по назначению в каком-либо доступном виде (кадры memory-alpha.org, Paramount Pictures/ Paramount Television, CBS Studios).

Амир и его коллеги задались целью не просто создать разные электронные помощники для инвалидов, а разобраться, как они взаимодействуют с мозгом владельца. В частности, учёных интересовала… зрительная кора.

Один из феноменов, изучаемых группой Амеди, – мультисенсорное восприятие. Это интегрированная обработка разных каналов информации, помогающая формировать целую картину мира. Особенности взаимодействия разных зон мозга в этом процессе до сих пор не поняты в полной мере.

В частности, в одной из предыдущих работ Амеди нашёл интересные пересечения в путях обработки информации при обычном чтении книги и чтении шрифта Брайля слепым человеком, хотя в одном случае работают глаза, а во втором – кончики пальцев (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Нейрофизиологам известно, что визуальная обработка в мозге идёт двумя параллельными путями. В коре имеется затылочно-височной путь, или «вентральный поток», связанный с обработкой форм, идентификацией объектов, их цвета. Он отвечает на вопрос «что я вижу?».

И ещё есть затылочно-теменной путь («дорсальный поток»), который анализирует пространственную информацию о месте расположения объекта (вопросы «где?» и «как?»).

Работа Амеди не первая, в которой инженеры и учёные попробовали формировать в голове слепого человека «зрительную картину» при помощи звуков. Вспомним европейский опытный проект CASBLiP, реализованный в 2009 году (фото CASBLiP/ Universitat Politècnica de València).

Амеди и его коллеги провели сканирование мозга 9 зрячих людей и 11 слепых от рождения. Зрячие выполняли задачи на визуальное распознавание, а слепые – аналогичные упражнения с использованием SSD.

Проект SSD вообще-то объединяет несколько вариантов помощников для слепых. Это и уже упоминавшаяся карманная «виртуальная трость», и различные прототипы систем ориентации с очками-камерами и стереонаушниками, получившие также имя vOICe (фото Hebrew University of Jerusalem, Amir Amedi’s Lab).

К удивлению экспериментаторов, у слепых активировались те же два потока. То есть зрительная кора точно так же начинала расшифровывать форму вещей и их пространственное расположение, когда человек пользовался «слуховым зрением».

(Об этом исследовании рассказывает статья в журнале Cerebral Cortex.)

Выходило, что такое фундаментальное разделение объёма работ может возникать даже без всякого предшествующего зрительного опыта. И что это разделение – не визуальное по своей природе.

Израильтяне сделали вывод, что мозг организует зоны коры по принципу специфики обработки информации (условно – по типу необходимых вычислений), вне зависимости от вида сенсорных каналов — зрительного, слухового или тактильного. О последнем стоит рассказать особо.

Перекладка на зрительную зону коры обязанности по составлению «визуальной картины» по одному лишь звуку – ещё один пример потрясающей нейропластичности мозга (иллюстрация Hebrew University of Jerusalem, Amir Amedi’s Lab).

Четыре десятка лет назад американский нейрофизиолог Пол Бачирита (Paul Bach-y-Rita) впервые попробовал переводить зрительную информацию в сигналы другой природы, и начал он как раз с тактильных ощущений.

Уже тогда стало ясно, что человек (как слепой, так и просто с закрытыми глазами) непохо приспосабливается к пространственной ориентации по необычному для себя принципу. Так, вибрации или слабые электрические покалывания на разных участках тела помогали испытуемым строить в голове мысленную картину обстановки, заменяя зрительное восприятие.

Вверху слева – один из ранних аппаратов Пола Бачириты, в котором сигнал с камеры преобразовывался в вибрацию массива контактов, закрепляемых на животе. Сила вибрации соответствовала яркости пикселей. Справа и внизу: уже в конце XX века и начале XXI эти исследования привели к появлению "языкового дисплея", а ещё – похожего по принципу устройства, передающую тактильную картинку на лоб человека (фото Bach-y-Rita et al., sarahangliss.com, ens-lyon.fr).

Опыты Амеди идеологически продолжают эксперименты Бачириты. И они показывают, что мозг слепых потенциально может быть разбужен для обработки визуальных задач даже в том случае, если человек был слепым всю жизнь.

Это открывает хорошие перспективны не только для обсуждаемой технологии подмены отсутствующего сенсорного канала другим, но и для электронных систем, возвращающих человеку зрение в прямом смысле, вроде разнообразных сетчаток-имплантатов.



Неврологи продемонстрировали обучение в стиле «Матрицы»

16 декабря 2011

Новое устройство превращает инвалидное кресло в электромобиль

9 декабря 2011

Учёные превратили контактную линзу в светодиодный дисплей

22 ноября 2011

Новый робот ездит на ногах и ходит на колёсах

7 ноября 2011

Toyota представила новых медицинских роботов

3 ноября 2011
  • Андрей Лупша  15 февраля, 19:22
    Одна проблема, что с такими очками начав «видеть» перестаешь слышать. Им бы использовать наушники которые передают звук через соприкосновение с телом не закрывая уши.
    ОтветитьНравится
  • Алексей Заикин  15 февраля, 21:00
    Думаю. это не сложно организовать подмешивая звук с внешнего микрофона в звуковую картину с камеры
    ОтветитьНравится
  • Борис Минтарский  15 февраля, 21:01
    Рекламу, рекламу забыл.
    ОтветитьНравится
  • Максим Подболячный  15 февраля, 19:28
    «Почти» как парктроник. :)
    ОтветитьНравится
  • Александр Морозов.  15 февраля, 21:07
    Я хотел как разбогатею (читай поставлю на ноги основной бизнес), заняться разработкой таких девайсов... Но походу к тому времени будет уже поздно...
    ОтветитьНравится
  • Андрей Балаев  15 февраля, 21:58
    Я надеюсь, что научатся восстанавливать зрение, и не понадобятся такие устройства.
    ОтветитьНравится
  • Александр Морозов.  15 февраля, 22:26
    Да, верно. Но такое слуховое зрение может не заменить, но дополнить основное и дать новые возможности. Например дать человеку образный язык на подобие дельфиньего: они видят, фактически, звуком, и могут друг другу передавать звуковые образы как видимые, так и воображаемые.
    ОтветитьНравится
  • k j  15 февраля, 21:37
    Представляете как слепые по улице с таким мешком и в касках за спиной ходят!!! :) Это же смешно!
    ОтветитьНравится
  • Леонид Попов  15 февраля, 22:01
    Кому смешно, а у кого — беда. Не дай бог ослепнуть — согласишься и на рюкзак с ПК. Но вообще-то, как я понял, в последнем случае (SSD) с обработкой изображения справится и более лёгкий комп, какой-нить планшет или даже мощный смартфон.
    ОтветитьНравится
  • Александр Морозов.  15 февраля, 22:25
    Обработку можно делать в FPGA: быстро и дешево.
    ОтветитьНравится
  • k j  15 февраля, 23:29
    Да смешного тут мало конечно,просто мне кажется что будущее за искусственными имплантатами вживленными в глазницу,а не за рюкзаками за спиной да еще толком ничего не дающие!!!
    ОтветитьНравится
  • Максим Подболячный  16 февраля, 10:42
    Да-да-да, особенно если у человека зрительный нерв поврежден... А вы ему, имплантанты, имплантанты... :)))
    ОтветитьНравится
  • k j  16 февраля, 11:32
    Можно прям в кору зрительную вживлять так что имплантаты,имплантаты !!! :)
    ОтветитьНравится
  • Максим Подболячный  16 февраля, 12:46
    Ну-ну... И зачем, спрашивается, тогда огород городить сейчас со всеми этими «заменителями зрения»? Слепым что, западло годков с полста подождать, пока мой тезка научится чего-то вживлять прямо в кору?
    ОтветитьНравится
  • k j  16 февраля, 18:06
    Я и через пол ста не научусь ,а вот другие может быть и пораньше !!!
    ОтветитьНравится
  • Максим Подболячный  16 февраля, 21:57
    Возможно, вы удивитесь, но как раз сейчас мы с вами и наблюдаем сей процесс.
    ОтветитьНравится
  • Алексей Николаев  15 февраля, 22:33
    Непонимаю, в чем тут прорыв ? Для Android Смартфонов есть программа которая делает тоже самое, но гораздо оперативнее и информативнее данной технологии,
    1. Без ноутбука за спиной
    2. 8мп камера смартфона против 2мп для ноутбука.
    3. с массой настроек .
    4. 6 часов автономно против 2-3 на ноутбуке.
    3. умеющей голосом говорить о форме и цвете предмета, направлении движения, и многое другое.
    Когда я пользовался ей в целях самообразования в этой области науки, то
    опознавал многие предметы как в видео и ориентировался по квартире свободно, с завязанными глазами (я не слепой, слепые это смогут лучше меня).
    она называется "The vOICe " расширенная реальность для слепых.
    ОтветитьНравится
  • Алексей Николаев  15 февраля, 22:34
    выходит плагиат какой-то !
    ОтветитьНравится
  • Леонид Попов  15 февраля, 22:58
    http://www.seeingwithsound.com/partners.htm

    vOICe создавался именно что при участии лаборатории Амеди (вторая строка в списке). Так что никакого плагиата — это дальнейшее развитие проекта.

    «умеющей голосом говорить о форме и цвете предмета»

    Это типа подсказка от постороннего («А сейчас перед тобой синий кубик»). Цель же Амеди — формирование у слепого собственного «видения» обстановки. Это несколько иная задача.

    Амеди ищет разные варианты её решения (какими звуками и что показывать). Так что последняя вещица — SSD — ещё один шаг в этом поиске.

    ОтветитьНравится
  • Сергей Скалба  16 февраля, 09:05
    Леонид Попов 15 февраля, 22:58

    Очень точное замечание: использование собственного интеллекта, а не внешнего. «Очки», здесь — только датчик.

    ОтветитьНравится
  • Алексей Николаев  15 февраля, 23:18
    Это объясняет удивительное сходство конечного звукового ряда в обоих вариантах, хотя если посмотреть видео на youtube, то там люди с vOICe на старом смартфоне определяют что за предмет перед ними без голосовой подсказки. Ну и я так понимаю, что подсказка про цвет важна не только слепым но и дальтоникам тоже пойдет .
    ОтветитьНравится
  • Алексей Николаев  16 февраля, 00:02
    Кстати я думаю что один недостаток есть у обеих технологий, через пол часа интенсивного использования голова квадратная (проверял) от этих звуков, а недели через две, думаю человека заберут в психушку или к слепоте добавится глухота, лучше бы вибрацией это передавать, а не в уши, заодно человек сможет слышать что вокруг происходит.

    Вот например: от запястья до локтя на обеих руках в одежду вмонтировать маленькие вибромоторчики, штук по 16 на каждую руку, а то что видят банальные ИК сенсоры или CCD, CMOS матрица, передавать в виде волн проходящих по рукам, от расстояния зависит интенсивность вибрации, ну или типа того, я просто имею ввиду что слепому даже лучше ощущать и слышать одновременно.

    ОтветитьНравится
  • Александр Морозов.  16 февраля, 08:53
    >>у вмонтировать маленькие вибромоторчики

    это чревато расслоением тканей: болезнь мучительная и плохо поддающаяся лечению.

    ОтветитьНравится
  • Алексей Николаев  16 февраля, 13:50
    читайте внимательнее. Я написал: в одежду вмонтировать, какое расслоение тканей? Рубашки чтоли ?
    ОтветитьНравится
  • Максим Подболячный  16 февраля, 14:08
    А расслоение тканей рубашки вообще не лечится! :)
    ОтветитьНравится
  • Александр Морозов.  16 февраля, 14:51
    >>какое расслоение тканей? Рубашки чтоли ?

    а вибрация для кого предназначена? что тупить?

    ОтветитьНравится
  • Алексей Николаев  16 февраля, 16:25
    тоесть если к человеку приложить вибромоторчик и включить на несколько дней то у него будет расслоение тканей
    ОтветитьНравится
  • Алексей Николаев  16 февраля, 16:27
    впервые слышу чтобы мобилки людей расслаивали. А геймеры уже в своих вибронакидках, все в желе привратились видимо.
    ОтветитьНравится
  • Александр Морозов.  16 февраля, 17:30
    Нет, расслоение происходит за 1 мс и человек умирает в страшных муках.
    ОтветитьНравится
  • Антон Брандт  16 февраля, 19:34
    Вы прямо предвосхитили мои слова.
    Все как то упускают тот момент, что загрязнение аудио и визуальных информационных каналов по своей интенсивности на насколько порядков превышают загрязнение вибрацией.

    А это значит что ослепить и оглушить даже полностью 100% здорового человека очень просто. Мы построили цивилизацию весьма способствующую этому.
    С другой стороны, выше упомянутая вибрация куда перспективней, поскольку загрязнения такого вида достаточно редки.
    В быту, естественно, соседи с перфоратором насилующие несущие стены, метрополитен, приём у зубного еще)
    Да, на производстве такого загрязнения очень много, но я очень сомневаюсь, что слесарь, токарь или столяр в состоянии будет купить себе такие девайсы, на каком бы принципе они не работали.

    Можно еще вспомнить центры мозга отвечающие за обработку электромагнитного, химического и т.д. информационных потоков.

    Но, элмаг загрязнение самое массивное, превышающее все прочие вместе взятые, а химическое опасней всех прочих в разы и потому технология, преобразующая информацию из видео в элмаг или хим, как мне кажется, была бы не продуктивна.

    ОтветитьНравится
  • Алексей Варежкин  16 февраля, 00:27
    кроме этого есть методики обучения незрячих, они ходят издают звуки и слушают эхо, показывали по ящику- неплохо удается ориентироваться, мозг штука достаточно гибкая так что можно и без девайсов
    ОтветитьНравится
  • Ольга Добрая  16 февраля, 12:56
    --кроме этого есть методики обучения незрячих, они ходят издают звуки и слушают эхо, показывали по ящику- неплохо удается ориентироваться, мозг штука достаточно гибкая так что можно и без девайсов

    это наверное, была передача в мире животных — про дельфинов? :-)

    ОтветитьНравится
  • нет. звук издает специальная щёлкалка в руке. достаточно 15 минут походить с повязкой и по звуку уже имеешь представление об объекте перед тобой. по крайней мере легко различается забор, автомобиль или дом перед тобой.
    лично во дворе тестил :-)
    ОтветитьНравится
  • имхо если годик так походить, то можно будет ступеньки слышать...
    высотой до 5 см.
    ОтветитьНравится
  • Ольга Добрая  16 февраля, 13:36
    а вы то зачем тестили?
    ОтветитьНравится
  • а вдруг понадобится?
    без зрения человек слишком уязвим.
    ОтветитьНравится
  • при том что зрения лишиться проще всего.
    ОтветитьНравится
  • Ольга Добрая  16 февраля, 13:45
    тоесть вы купили для себя?
    ОтветитьНравится
  • кого купил? Щёлкалку?
    Ну у меня руки не совсем кривые, сам сделал.
    важна сама методика.
    ОтветитьНравится
  • Ольга Добрая  16 февраля, 13:53
    круто! :-)
    ОтветитьНравится
  • Алексей Варежкин  16 февраля, 14:32
    это была передача про слепых и показывали человека который неплохо овладел этим методом, а уж с кем его сравнивать- с дельфинами или летучими мышами- вам видней
    ОтветитьНравится
  • Алексей Варежкин  16 февраля, 14:33
    защелкой тоже можно- но я видел как человек ходил без защелки и щелкал не так уж громко языком
    ОтветитьНравится
  • Александр Морозов.  16 февраля, 16:41
    Я, кстати, тоже увлекался такой фигней. За месяц-два вполне можно натренироваться, по крайней мере по квартире ходить. Сейчас уже не смогу, но использую постоянно редуцированную функцию для контроля помещения. Т.е. когда в комнате кто-то появляется или перемещается, то звуковая картина меняется ощутимо.
    ОтветитьНравится
  • Антон Брандт  16 февраля, 19:36
    Щелкалка?
    Авторучка чтоли?
    Или зажигалка?
    ОтветитьНравится
  • Юрий Новиков  16 февраля, 12:30
    удастся ли им сделать интерпретацию эстетически приятных картин мелодичными? Оркестр конечно может многое сказать — на фоне идилической мелодии саксофона описывающей тротуар, мощно выступает тема виолончели говорящая о приближении открытого люка.
    ОтветитьНравится
  • Максим Подболячный  16 февраля, 12:48
    Скорее не виолончели, а барабанов — нарастающее крещендо, у особо невнимательных заканчивающееся гулким ударом литавр. ;)
    ОтветитьНравится
  • Юрий Новиков  16 февраля, 13:36
    :) Виолончель может быть не менее барабана — тревожна. Партию ударных я приберегал для тихо крадущегося грузовика мусоровоза.
    Но я рад, что идея понята и творчески продложена. :)
    ОтветитьНравится
  • Антон Брандт  16 февраля, 19:39
    Так вот в чем дело!
    Оказывается, для съемок фильмов ужасов (особенно про страшных акул) привлекают исключительно слепых, оснащенных таким вот музыкальным девайсом)
    ОтветитьНравится
  • Сергей Асташкин  16 февраля, 14:41
    -- Зрительная информация очень объёмна, её и воспринимать должен зрительный отдел .. вот путь решения этой задачи, только у зрительного отдела мозга достаточно обрабатывающих ресурсов... все остальные,по сравнению с ними — как калькулятор 80-го года по сравнению с современным ПК...
    ОтветитьНравится
  • Алексей Николаев  16 февраля, 16:40
    Парктроника тоже недостаточно чтобы увидеть хоть чтото, но парковаться же с ним лучше чем банально глядя в зеркало заднего вида, зрение как вы заметили сложный орган и информация с оптического нерва многократно деградирует доходя до мозга, а тот еще и у некоторых всего 1-2 раза в секунду обрабатывет происходящее, в итоге наш сложный орган + хитрый мозг = иллюзия постоянного контроля над ситуацией, но услышав звук вы смотрите туда откуда он, а не наоборот при виде чегото прислушиваетесь. Выходит что звук оперативнее зрения информирует нас о многом.
    ОтветитьНравится
  • Алла Татарникова  28 марта, 14:13
    Увы, мембранский автор перепутал всё, что можно, относительно разработчиков системы. Как видно из сайта разработчика www.seeingwithsound.com/ или из этой новости: www.dailymail.co.uk/sciencetech/article-2100398/Real-life-science-closes-Star-Trek-TNG-new-device-hack-blind-peoples-visual-cortex-let-see.html , систему создал 20 лет назад (!) Питер Мейер, а Амеди лишь провел серию экспериментов, которая показала — устройство действительно активирует зрительные зоны мозга. Но работало это устройство уже 20 лет назад!!!

    Вот в этой статье 2007 года www.nature.com/neuro/journal/v10/n6/abs/nn1912.html Амеди и Мейер соавторы (что интересно, Мейер — последний в списке). Так что Амеди всего лишь изучал уже имеющийся прибор, а в этой статье написано так, как будто он его разработал.

    ОтветитьНравится