Новый дисплей извлекает объём из кажущегося хаоса

Новый дисплей корректно показывает стереоизображение почти-что с любого ракурса (иллюстрация Camera Culture/MIT Media Lab).

Учёные из Массачусетского технологического института построили 3D-дисплей, не требующий очков для просмотра. Его главные отличия от предшественников — широкий угол обзора, при котором сохраняется стереоэффект, причём не только по горизонтали, но и по вертикали, а также высокие яркость и разрешение.

Новинка называется HR3D. Это развитие экранов с параллаксным барьером (обычно — набором вертикальных прорезей в маске), который прикрывает от правого и левого глаза пиксели, предназначенные соответственно для левого и правого глаза.

Развитие, впрочем, оказалось столь глубокое, что авторам пришлось пересмотреть базовый принцип создания объёмного изображения, когда выводятся две смешанные картинки с чередующимися точками и существует «разделитель» этих картинок.

В классическом варианте, если вы хотите повысить качество изображения, вам требуется увеличить число одновременно выводимых параллаксных кадров и уплотнить параллаксный барьер. Это снижает количество света, проходящего через него. Яркость падает, и вам остаётся только поднимать мощность фоновой подсветки, что, к примеру, быстро сажает батарею мобильного устройства.

И ещё в такой схеме 3D-эффект работает только при нормальном расположении экрана. Поверните его на 90 градусов, и все стереопары рассыплются. Значит, если мы мечтаем обеспечить работу экрана при любом положении, придётся вводить и второй набор палаллаксных щелей, перпендикулярно первому. Фактически мы получаем маску со множеством крохотных дырочек, через которые до зрителя мало что доходит.

Жёсткий параллаксный барьер, работающий в двух направлениях (слева), и изображение, выводимое экраном без барьера (справа). Набор отверстий позволяет каждому глазу видеть только нужные пиксели. Эта схема обеспечивает 3D-эффект в некоторых современных автостереоскопических дисплеях, но расплата за такой приём — большие потери света (иллюстрация Camera Culture/MIT Media Lab).

Важно подчеркнуть, что такая маска остаётся фиксированной для любого изображения. Отсюда негативный результат: яркость падает катастрофически, стереоскопический эффект — нестойкий, достоверность передачи изображения — низкая.

Выход из затруднительного положения оказался радикальным — параллаксный барьер сам должен стать жидкокристаллическим экраном. И работать он должен на просвет, да ещё в реальном времени подстраиваться под изображение, выдаваемое основным (нижним) экраном.

Так вместо горизонтальных или вертикальных щелей мы создаём армию произвольно переключаемых затворов-точек, показывающих нам нужные пиксели с нижнего дисплея, вне зависимости от того, с какой стороны мы на него смотрим.

Общий принцип HR3D. Жёлтым цветом показана подсветка. Далее идут две наложенные друг на друга ЖК-матрицы, формирующие уникальный поток для каждого из глаз зрителя (иллюстрация Camera Culture/MIT Media Lab).

От такой сырой идеи до финального варианта нового 3D остаётся сделать один шаг: пиксели на переднем экране тоже должны быть «переменными» по яркости, а итоговое изображение — комбинацией кадров от двух ЖК-матриц, наложенных друг на друга с некоторым зазором (чтобы с разных точек зрения получались разные суммы лучей). Так и родился, по определению самих авторов изобретения, «параллаксный барьер, адаптирующийся к контенту» (Content Adaptive Parallax Barrier).

Именно его сотворили специалисты из Массачусетского технологического института. Они распотрошили два серийных ЖК-экрана, удалили с матриц ненужные в проекте поляризационные фильтры и дополнительные покрытия, а потом собрали из двух экранов экспериментальный прототип дисплея HR3D.

Чтобы извлечь ЖК-матрицу из серийного дисплея и подготовить её для включения в состав HR3D (справа внизу), изобретателям потребовались отвёртка, ластик и ацетон (для удаления клея) (фотографии Camera Culture/MIT Media Lab).

Очевидно, главная его изюминка — вовсе не «железо», а софт. Для каждого кадра исходного объёмного контента необходимо создать два дополняющих друг друга изображения, которые при наложении создадут иллюзию объёма. Нижняя картинка тут является своего рода зашифрованной основой, а верхняя дешифратором.

В пресс-релизе института сказано, что, начиная работу, её авторы даже не знали, как будет выглядеть «оживший» шаблон для параллаксного барьера, заточенный под конкретный кадр. Выяснилось, что он напоминает собою нижнее изображение, хотя не совпадает с ним.

Отличие нового метода вывода 3D-контента (внизу) от прежнего (вверху). Исходный контент (1), то есть компьютерная графика или съёмка 3D-камерой, преобразуется в интегрированное световое поле (2), например набор картинок 3 х 3, показывающих предмет с разных точек зрения. Затем происходит вычисление выводимого дисплеем изображения (3). В старом варианте это искусное перемешивание пикселей от нескольких картинок в едином кадре (4), к которому прилагается статичный параллаксный барьер (5), а в новом — формирование набора из разделённых во времени пар «маска — кадр» (6 и 7). Далее кадры выводятся на задний ЖК-экран (8), который в старом методе — единственный. Эти кадры сверху прикрываются фиксированной маской (9) в прежнем способе или второй ЖК-матрицей (10) — в новом. В обоих случаях достигается восприятие трёхмерного образа (11) (иллюстрация Camera Culture/MIT Media Lab).

Построение таких пар требует огромного объёма вычислений. Чтобы на выходе двух складываемых потоков получить желаемое световое поле, приходится вводить понятие «ранг светового поля», заниматься факторизацией неотрицательных матриц и прочими зубодробительными вещами. Читателям же, далёким от математики, достаточно узнать, что обсчёт одного кадра для вывода по системе HR3D занимает до 20 минут машинного времени.

Разумеется, зритель столь долго не ждёт. Речь идёт о предварительном переводе 3D-контента в формат, понимаемый новым дисплеем. При этом ради сочетания приемлемой чёткости и точности линий с яркостью и контрастностью в системе HR3D приходится каждый кадр ещё и дробить на несколько более простых субкадров, выводимых последовательно с высокой частотой (благо исходные ЖК-матрицы, задействованные в эксперименте, физически способны выдавать 120 кадров в секунду).

Между прочим, HR3D — это сокращение от High-Rank 3D, то есть «3D высокого ранга». Смысл авторы системы вкладывают такой. Простое 3D-изображение, выводимое через параллаксный барьер, имеет ранг 1. Если вы хотите воспроизвести его через две матрицы (для обеспечения эффекта параллакса по горизонтали и вертикали), вы снижаете ранг (грубо говоря, сочетание деталировки и яркости). Ведь так множество лучей получают сильные ограничения по углу обзора. Новая система, хотя формирует картинку из кадров низкого ранга, после их смешения получает (в глазах зрителя) 3D-изображение высокого ранга. На этом рисунке показан пример пары маска (фронтальное изображение) и кадр (заднее изображение). Это вовсе не картинки для левого и правого глаза, как можно подумать. Но при суммировании в двухслойном дисплее они создают эффект объёма (иллюстрация Camera Culture/MIT Media Lab).

Программа, обрабатывающая первоначальное изображение, решает задачу оптимизации. Она подбирает пары картинок для верхнего и нижнего ЖК-слоя так, чтобы и качество суммарного изображения было хорошим, и чтобы мелькание кадров было не слишком заметным.

С дисплеем, в котором за разделение двух частей стереопары отвечает жёсткий параллаксный барьер, такой трюк не пройдёт. А ведь результат стоит усилий: при одинаковой мощности задней подсветки HR3D-экран может быть втрое ярче предшественников. Значит, уровень его подсветки можно снизить, а расход энергии — сократить. Для мобильных устройств это очень важно.

Новый дисплей учёные построили просто — прикрутив одну жидкокристаллическую матрицу поверх другой (фото Camera Culture/MIT Media Lab).

В связи с «энергетикой» нужно вспомнить о другом варианте разделения картинок для правого и левого глаза — лентикулярных линзах. Свет они практически не задерживают. Но, будучи приклеенными к экрану, они не могут быть выключенными, в отличие от верхней ЖК-матрицы. Потому со второй устройство легко переводить в 2D-режим с сохранением высокого качества картинки.

Добавьте к этому набору достоинств полный параллакс при смещении зрителя в любом направлении от центра экрана, и вам покажется, что HR3D — идеальная замена существующим дисплеям. Но на деле новинку хвалить пока можно лишь авансом.

Ведь в случае использования такого дисплея в мобильной электронике чуть ли не всю энергию, сэкономленную на подсветке экрана, придётся отдать процессору. Он будет загружен по самое горло обработкой стереокадров. И это серьёзный барьер на пути внедрения адаптирующегося параллаксного барьера.

Прототип дисплея и его создатели (слева направо) Рамеш Раскар (Ramesh Raskar), Дуглас Ланман (Douglas Lanman) и Мэттью Хирш (Matthew Hirsch) (фото Matthew Hirsch).

Изобретатели технологии видят два пути решения проблемы. Либо со временем удастся оптимизировать и упростить математический алгоритм пересчёта картинок, либо для таких экранов потребуется создать специализированные процессоры. Они будут нацелены строго на вычисление объёмных кадров по новой системе и справляться с такой задачей должны гораздо быстрее процессоров «общего назначения», да ещё и с меньшими энергозатратами.

Работа (PDF-документ) по HR3D была представлена в декабре прошлого года на выставке SIGGRAPH Asia 2010. Добавим, что этот оригинальный дисплей — детище научной группы Camera Culture профессора Рамеша Раскара, хорошо известного нашим постоянным читателям по другим головокружительным трюкам со светом — съёмке за углом, шестимерным снимкам и наведению на резкость после съёмки.



Японцы создали полноцветные голограммы

11 апреля 2011

Инженеры научились делать складки на сенсорном экране

4 апреля 2011

Корейцы поставили на поток прозрачные ЖК-экраны

1 апреля 2011

Инженеры превратили экран мобильника в солнечную батарею

30 марта 2011

Создана электронная книга с тактильным откликом настоящей

28 марта 2011
  • очередной повод для борьбы производителей процессоров :)
    ОтветитьНравится
  • Андрей Балаев  6 мая, 20:14
    «Ведь в случае использования такого дисплея в мобильной электронике, чуть ли не всю энергию, сэкономленную на подсветке экрана, придется отдать процессору. Он будет загружен по самое горло обработкой стереокадров. И это серьёзный барьер на пути внедрения адаптирующегося параллаксного барьера.»

    Тоже мне проблема, учитывая, с какой скоростью развиваются процессоры, проблема этой технологии в отсутствии контента, долго придется пробиваться на рынок.

    ОтветитьНравится
  • Алексей Заикин  6 мая, 22:51
    «Читателям же, далёким от математики, достаточно узнать, что обсчёт одного кадра для вывода по системе HR3D занимает до 20 минут машинного времени.»

    надо полагать, что речь шла о современной настольной системе, а не о мобильнике. Так что проблема имеет место быть.
    Лично мне не понятно зачем мне в мобильнике стереоскопический экран.

    ОтветитьНравится
  • В мобильнике может и не нужен. Но и настольных систем, и «умеренно-портативных» — как дивиди-смотрелки и лептопы — никто не отменял.
    20 мин — это типа пререндеринг. Думаете, современный фильм с его кучей непростых спецэффектов меньше времени на кадр занимает? Построят новые креи для обработки, придумают более быстрые алгоритмы для обработки, придумают «джпег для HR3D» — и пойдет в массы! лично я с удовольствием приобрету ноут со всего-то-навсего вдвое более дорогим экраном, зато с ярким, контрастным и качественным просмотром триДе фильмов.
    Меня изящность технического решения впечатлила.
    ОтветитьНравится
  • Сейчас не нужен, как раньше не нужен был цветной... Через несколько лет — нужен, не нужен, а  будет ;)

    Потом он станет гибким, сенсорным, с обратной тактильной связью и пр. и пр.

    И каждый раз на пороге такого внедрения будут говорить — «а зачем это в мобиле?»

    Как говорил Шурик: «Надо, Федя, надо!..»

    ОтветитьНравится
  • Вадим Сущенко  7 мая, 12:53
    3Д контента все больше и больше
    ОтветитьНравится
  • Вадим Сущенко  7 мая, 12:52
    вообще большая вычислительная нагрузка это проблема только генерации 3Д в видеоиграх. 3Д фильмы уже могут хранится в соответвующем формате (нет разницы что там зранить 2 кадра для левого и правого глаза или для верзнего и нижнего дисплея).
    ОтветитьНравится
  • Замечательная идея! Прогресс на месте не стоит :) А вопрос с быстродействием довольно просто решается. Создать специализированный DSP в наше время проблему не составит
    ОтветитьНравится
  • если я правильно понял суть идеи (не уверен), то для оптимизации вычислений есть как минимум два основных пути:
    1. вроде бы количество вычислений пропорционально количеству элементов прямыхобратных матриц — т.е. пикселей. потому снизив число пикселей до уровня мобильника можно решить проблему с нагрузкой.
    2. для больших экранов разбивать изображение на мелкие квадратики с одинаковой «высотой объемности по краю» и обсчитывать для них, а не для целого изображения
    ОтветитьНравится
  • народ все верно говорит — рендеринг и вывод видео — разные вещи. В статье, судя по всему, речь идет именно о рендеринге картинки, а не о ее отображении на экраны.
    ОтветитьНравится
  • Студентики придумали ну полную белиберду.

    Форумчане радостно ликуют по поводу этой новости, так как они решили, что пявалась какая-то новая система создания голографического изображения, только лучше. Система гораздо хуже и гораздо дороже, чем старые.

    ОтветитьНравится
  • Андрей Баранов  8 мая, 07:52
    Это хорошее и закономерное развитие дисплеев, основанных на параллаксном барьере. В промышленном масштабе оно будет гораздо лучше и дешевле, чем в экспериментальном образце.
    ОтветитьНравится
  • Ваше заблуждение целиком и полностью основано на том, что вы не удосужились понять принцип действия и алгоритм построения картинок. Из обсуждаемой статьи этого понять невозможно.

    Можно простой вопрос: я хочу осуществить совсем простую штуку — чтобы мой левый глаз видел синюю точку, а правый глаз — зелёную точку. Сколько пикселей на LCD-матрице требуется? Классический 3D-диплей требудет один пиксель, повышенной частоты. Классический параллаксный дисплей — два пикселя. Дисплей на лентикулярных линзах — два пикселя. Обсуждаемое «изобретение» требует либо 18, либо 32 пикселя, в зависимости от варианта.

    Кроме того, каждый глаз зрителя должен быть позиционирован с точностью до миллиметра. Если у вас между глаз какое-либо расстояние, кроме предписанного «изобретателями», то вы out of luck. На видео есть момент, когда они вывели на свой дисплей цифры от 1 до 9 и пытаются увидеть эти цифры с помощью видеокамеры. В подавляющем большинстве случаев все цифры слиты. Предельно тяжело поймать ракурс, в котором выделяется какая-то одна цифра, а остальные хоть немного бледные. Существует ровно один телесный угол, с которого можно увидеть только одну из циифр.

    Чтобы изобретение имело хоть какой-то смысл, это должно быть какое-то предельно необычная задача. Я на знаю такой задачи. Это не фильм, это не телевизор, не кино. Компьютерная игра не подходит, так как недостаточна скорость обработки кадров. Кадр из фильма не может быть нужно поворачивать на 90 градусов — ничего не понятно будет.

    Сроду мне не приходило в голову повернуть телевизор набок, смотреть так — боком — фильм, и еще платить вдесятеро больше за телевизор, который способен сохранить 3D-эффект при подобном повороте.

    Несомненно, изобретение представляет определённую ценность для девятиглазых существ, если они могут обеспечить точное и правильное расстояние между своими глазами. Например, если у этих существ глаза на гибких щупальцах.

    ОтветитьНравится
  • Вадим Сущенко прав. Эта технология весьма перспективна для отображения уже отрендеренного или отснятого (причем не на самом мобильнике!) 3D-контента. Для игр же это совсем не подходит, т.к. там рендеринг осуществляется постоянно, да еще и желательно с неплохой частотой — хотя бы 25 кадров/сек.
    ОтветитьНравится
  • Ребята, это пока «заоблачная» перспектива. Полезнее овладеть конвергентной стереоскопией, чем терять время и большие деньги на HiTech. Это же естественно, да и качество картинки всегда будет иметь двойную плотность безо свяких оптических аберраций. Нужен L и D видео-ряд для двухмониторных систем — купить же два одинаковых монитора сейчас не проблема. Пусть делают видеокниги на двух сенорных страницах, мониторы 1 к 3. Проблема в отсутствии самой стереопродукции. Нужны файлы «Аватар» для каждого глаза, а не это «видит око, да зуб не ймёт». Технологии вечно тормозят, а люди давно уже смотреть стерео готовы. Смотреть стерео-фильм на мониторах 2х14" с 2-х метров напрягает глаза не боллее чем чтение книги с расстояния 30 сантиметров. Погуляйте по торговым центрам с работающими однофоматными мониторами через разветвитель и пробуте сводить глаза. Это — реальное стерео !
    ОтветитьНравится