Камера светового поля меняет кадр после съёмки

Перед вами не четыре фотографии, сделанные с разной фокусировкой. Это один-единственный снимок светового поля, позволяющиий перестраивать себя по желанию (фотографии Lytro).

Молодая американская компания обещает до конца года вывести на рынок камеру, которая революционизирует фотографию. Заявление амбициозное. Но прототип уже существует, и создан он после многолетних исследований.

Основатель стартапа Lytro из Кремниевой долины, глава компании и изобретатель экзотической камеры Рен Нг (Ren Ng), утверждает: «Наша миссия заключается в изменении фотографии навсегда, обычные камеры уйдут в прошлое».

Если верить Lytro, то пользователям не придётся беспокоиться о подборе времени экспозиции, диафрагмы, фокусировки и должного освещения с новой камерой. И дело не в автоматике, которая, как можно подумать, сама устанавливает указанные выше параметры перед съёмкой. Нет, новинке просто не нужны такие настройки, чтобы успешно снять сюжет.

Камера Lytro готова запечатлеть любую сцену менее чем через секунду после включения аппарата. Да, у новой камеры нет задержки между «сном» и собственно моментом спуска. Не нужно нажимать кнопку наполовину и ждать пока аппарат наведёт фокусировку. Ею Lytro вовсе не занимается. Но после происходит «чудо».

Продвинутая технология неотличима от магии: каждый кадр, выполненный по новой методике, вовсе не занимает в памяти объём, как сотни традиционных кадров, но при этом позволяет менять фокус постфактум (фотографии Lytro).

Используя полученный при съёмке файл, специальная программа может произвольно менять глубину резкости и фокусировку кадра. Достаточно просто щёлкнуть мышкой на нужном объекте — предмете первого, второго или третьего плана, как эти участки становятся резкими, а другие размываются.

Причём речь не идёт об искусственном «замыливании» в стиле фотошопа. Все проявляющиеся и вновь уплывающие в туман изображения — реальные. Всё работает так, словно вы сделали в один момент несколько десятков, а то и сотен кадров с фокусировкой, установленной на разное расстояние.

Как происходит перефокусировка после съёмки — можно опробовать самому в картинной галерее Lytro, а ещё посмотреть в ролике ниже.

Секрет технологии заключается в том, что новая камера записывает в память так называемое световое поле (light field). Если говорить упрощённо, световое поле полностью определяет вид сцены, а представить его можно как совокупность всех лучей, проходящих от всех точек окружающей обстановки во всех направлениях.

Упрощённое представление светового поля (иллюстрация Lytro).

В новой камере в качестве датчика задействован спроектированный компанией сенсор светового поля. В отличие от обычной матрицы он получает и сохраняет в цифровом снимке информацию не только о яркости и цвете прошедших через объектив лучей, но и о направлении, с которого они пришли. Это последняя информация теряется в обычной камере, поясняет Lytro.

Камера Lytro сохраняет раздельную информацию о лучах света, пришедших в объектив с разного расстояния и под разными углами (иллюстрация Lytro).

В результате записанные светочувствительной матрицей данные позволяют за счёт программного алгоритма не только менять глубину фокусировки в конечном кадре, но и в некоторых пределах смещать перспективу всей сцены и даже плавно переходить от 2D к 3D. Звучит фантастично, но именно такую технику обещает вывести на рынок компания Lytro.

Нг — выпускник Стэнфорда (Stanford). В руках учёный держит серийную цифровую камеру, которую команда Рена перекроила в прототип Lytro, использовав ряд магазинных и самодельных деталей (фото с сайта k9ventures.com).

Если копнуть глубже, в технологии открываются любопытные подробности. Скажем, свой сенсор светового поля Нг придумал не на пустом месте. В своей работе Рен отталкивался от принципа так называемой пленоптической камеры (plenoptic camera).

Учёным такая камера известна уже много лет, но до сих пор кочует как эксперимент из института в институт. До потребительского рынка она так и не добралась.

Задача пленоптической камеры заключается в получении намного более полной информации о сцене, нежели это возможно с камерой классической. Кстати, попытки такой всеохватывающей съёмки предпринимались не раз. Но в отличие, к примеру, от похожей работы Mitsubishi Electric, где для захвата светового поля применялось сочетание сенсора и кодирующей маски, в пленоптической камере между основным объективом и матрицей размещается массив из большого множества микролинз.

Каждая такая линза передаёт свет на относительно небольшую группу пикселей в приёмной матрице. Все вместе они формируют мозаику, содержащую больше данных о световых волнах, чем кажется на поверхностный взгляд.

Так плеоноптическая камера фиксирует сцену (иллюстрация Ren Ng).

Взяв исходные пиксели, путём решения довольно сложных уравнений можно получить представление о сцене в большем разрешении, чем имеется в отдельном фрагменте мозаики.

При этом расстояние от объектива до снимаемых объектов не играет никакой роли. Зная законы распространения света, можно подобрать такую обработку, что каждый предмет нарисуется точно в фокусе.

Часть снимка, полученного с помощью массива микролинз, лежащих прямо перед матрицей (но с определённым зазором). Справа вверху — ещё более увеличенные фрагменты (на основном кадре обведены квадратами), внизу — синтезированный результирующий кадр (иллюстрация Ren Ng).

Однако у пленоптических камер есть проблемы. Скажем, размер микролинз и их соотношение с пикселями матрицы, лежащей внизу, расстояние между микролинзами и матрицей — все эти параметры сочетаются между собой так, что вам сложно получить хорошую фокусировку одновременно с высоким разрешением картинки под каждой микролинзой. Что-то удаётся вытянуть, что-то пропадает.

При этом важно, что набор таких миниатюрных изображений несёт информацию не только о яркости и цветах разных точек, но и о расстоянии от камеры до той или иной части сцены. Что будет, если все эти знания объединить? Если упрощать задачу, вопрос перед авторами технологии стоял такой: можно ли из сырых и грубых изображений под микролинзами вычислить всю обстановку со всеми её деталями?

Чтобы ответить на него, Нг подвёл под работу плеоптической камеры целую теорию о различных способах представления световых полей и различных математических преобразованиях с ними, а в результате спроектировал свой аппарат (с сопутствующим софтом), который способен на описанные выше трюки.

(Подробнее о научной части проекта можно узнать в PDF-документе, а немного деталей из истории появления Lytro и предшествовавшей ей работе специалистов Стэнфорда — в блоге венчурной компании K9, помогавшей Рену осуществить мечту.)

Микрорешётка квадратных линз, использованная в экспериментальном прототипе. Её размерность — 296 х 296 линз. Линзы эти покрывают почти 100% площади. Эта решётка была помещена поверх светочувствительной матрицы с разрешением 4096 х 4096 пикселей. Внизу показана сборка этих узлов (фотографии Ren Ng).

Камера Lytro работает при слабом освещении без вспышки, а ещё она может производить 3D-фотографии с одним объективом, приводит PC World слова представителей компании.

С трёхмерностью, честно скажем, не всё понятно. Чтобы её получить, нужно снимать объект хотя бы с двух точек зрения. Вероятно, здесь за счёт той самой решётки микролинз можно отснять сцену так, будто мы располагаем двумя объективами.

Расстояние между ними, в данном случае, это диаметр основного объектива. Деталей, однако, Lytro не раскрывает, как и не показывает пока трёхмерные «Lytro-снимки».

Увы, остаются неясными многие аспекты работы камеры и софта, но главное — нет ответа на вопрос, какой же конечный продукт американцы намерены вывести на рынок?

Не указаны ни точная дата появления Lytro в продаже, ни цена, ни даже форм-фактор новинки (будет ли это «мыльница» или увесистая «зеркалка»). Так что желающим приобщиться к революции в фотографии следует ещё немного подождать.



Физики сделали шаг к серийному выпуску плащей-невидимок

14 июня 2011

Поставлен рекорд скорости передачи данных

24 мая 2011

Учёные впервые визуализировали квантовую запутанность

29 апреля 2011

Учёные нашли неожиданный метод конверсии света в ток

18 апреля 2011

Физики задержали радугу на поверхности металла

13 апреля 2011
  • Кирилл Руков  24 июня, 17:18
    Леонид, я за то, чтобы на мембране появлялась более-менее провереная, полная информация. Если авторы проекта сочли нужным анонсировать свое чудо, и в анонсе не объяснили самой сути процесса, и многое оставили неявным — это даже не анонс, а просто затравка для желтой прессы. Мне кажется, нужно отсеивать уже самому информационному ресурсу, что действительно прорыв, и существует на самом деле — а что может оказаться фикцией, или игрушкой.
    ОтветитьНравится
  • Леонид Попов  24 июня, 17:41
    А мне кажется, что столь серьёзная заявка в любом случае требует рассмотрения. Весь Инет гудит, всем интересны детали, а их крайне мало. У нас, кстати, подробностей дано больше всех, хотя, вы правы, их очень мало на самом деле. Но новость-то — есть, от неё никуда не денешься. Опять же — кому интересны оптические дебри — может пойти по ссылке на научный материал. И всё это вы асоциируете с жёлтой прессой? Ну нет слов.
    ОтветитьНравится
  • Сергей Передрий  24 июня, 17:43
    Може хотя бы писать об этом не в конце текста, а в самом начале оговориться?
    ОтветитьНравится
  • Леонид Попов  24 июня, 17:48
    Кстати, об отсеивании, Кирилл. Представьте ситуацию — некий ресурс на западе (nature или scienceDaily) пишет: создан компьютер, который играет в го лучше человека. По вашей логике, нам в редакции нужно сразу брать билет в США, лететь и проверять лично — есть ли этот компьютер и как он играет? Это нереально, значит остаётся вопрос доверия к источникам. Но источники мы всегда указываем — мы даём читателю информацию к размышлению, срез событий, картину мира, говоря пафоснее, и пруф для проверки, а уж каждый волен делать с этой инфой что хочет.
    Но откровенно жёлтые и бредовые сообщения из мира техники и науки мы отсекаем. Не знаю, почему вы так набросились на эту несчастную камеру, по-моему тут всё более менее нормально и правдоподобно.
    ОтветитьНравится
  • Максим Селиванов  24 июня, 17:50
    Кирилл, а что тут такого сверхъестественного? Ну записывается кроме интенсивности еще направление. Вспомните голограмму, там еще пишется фаза, правда получается просто «снимок поля». Видимо тут что-то похожее, и потом «по снимку поля» можно рассчитать изображение.
    ОтветитьНравится
  • Леонид Попов  24 июня, 18:07
    Там столько оговорок уже вначале: «утверждает», «если верить». Куда уж больше, Сергей?
    ОтветитьНравится
  • Кирилл Руков  24 июня, 20:30
    Простите, я, конечно, слишком экспрессивно написал. Не плохая статья, да и про идею я уже слышал. Просто я не люблю стать про «концепты» — когда речь даже не идет о том, что продуманна общая конструкция, и принцип работы — есть просто внешний вид и желаемое от продукта. Я не считаю, что имеет смысл писать про такое статьи. В этом случае — и камеры пока что нет, есть только ожидаемый эффект. Несколько опытных образцов — но нет готового продукта. А уже много шума, и ярлыков гениального и революционного. Это как маркетинговая политика Стива Джобса)
    ОтветитьНравится
  • Кирилл Руков  24 июня, 20:31
    статьи*
    ОтветитьНравится
  • Сергей Шляхтов  24 июня, 17:50
    Это не будет зеркалка, три ха! В современных цифровых камерах идет постепенный отказ от зеркалок (монитор). С такой камерой неплохо бы смотрелся 3Д монитор, но это потребует недетских вычислительных мощностей, и именно по этому пути надо идти. Качество снимком думаю будет не очень высокое, так что уровень не профессиональный. Другое дело, если правильно все сделать, то на таком принципе фотография будет действительно объемной (но это уже очки), а главное это видео, с моей точки зрения. В общем, рынок довольно странный (точнее еще не сформированный, но с большим потенциалом)...
    ОтветитьНравится
  • Алексей Заикин  25 июня, 00:37
    А из чего сделаны выводы о тенденции отказа от зеркалок? Я такой пока не заметил. Конечно во все большем количестве моделей появляется режим LiveView, но зачастую в этом режиме страдает скорость фокусировки, либо опять таки применяются применяется специальные полупрозрачные зеркала, которые в режиме визирования делят световой поток от объектива, одна часть идет на матрицу, другая в узел фокусировки.
    ОтветитьНравится
  • Сергей Шляхтов  28 июня, 19:37
    Раньше это был особый элитный сегмент (зеркалки). Сейчас нет. Опять же, скорость обработки (фокусировки и прочее) повышается, и на экране можно иметь картинку практически в режиме реального времени, при том она гораздо удобнее во всем (отображает качество снимка, не фокусирует внимание только на точке съемки и т.д.). Конечно, пока зеркалку не собираются убирать, однако смысла в ней все меньше...
    ОтветитьНравится
  • Профессиональные фотографы только посмеются утверждениям, что в зеркалке «смысла все меньше». Белый свет запрудили дешевыми и дорогими мыльницами, благодаря чему каждый дурак считает себя фотографом. В сущности монитор — это «излишество архитектуры», приспособление, ничего не добавляющее в помощь фото искусству, на нем даже не возможно определить резкость снимка. Фотографирование на вытянутых руках — полное идиотство, ибо какие детали возможно увидеть и оценить на нескольких квадратных сантиметров такого экрана? О смерти зеркалок могут говорить только те, кто ничего не смыслит в фотографии и думают, что увешенная всякими новейшими побрякушками камера всё «сделает сама».
    ОтветитьНравится
  • Сергей Шляхтов  3 июля, 23:03
    Профессиональные фотографы занимаются не только павильонной схемкой, точнее ей занимаются скорее не профессиональные фотографы. В ином случае для того чтоб найти лучший кадр надо иметь большое поле обзора, что с зеркалкой затруднительно. Да, профессиональные фотографы фотографируют и на вытянутых руках, если это необходимо. Потому что будущее за репортерским способом фотографирования. А павильонный это так, иметь в городе маленький бизнес (только при чем здесь искусство?). Природу конечно можно еще там выделываться, но с движущимися объектами надо либо заранее выставлять (и тут зеркалка пофиг), либо терять 90% хороших кадров. Оценивают снимок не на нескольких сантиметрах, а с помощью образного представления, а окошко нужно лишь чтоб удостовериться в правильности направления, для тех кто не в курсе.
    ОтветитьНравится
  • Андрей Кошкин  24 июня, 18:15
    Может он просто делает два, три кадра и программно позволяет переводит форус. Как пример один кадр полностью нерезкий другой резкий на основе контрастности цветов, тоесть по принципу мыльниц.
    ОтветитьНравится
  • Леонид Попов  24 июня, 18:21
    Сказано однозначно — делается одномоментно только один кадр. Но в нём потом можно переводить фокус на несколько разных объектов.
    ОтветитьНравится
  • Георгий Ратушный  24 июня, 19:58
    есть у меня ощущение, возможно и неверное, что в этом утверждении доля лукавства.
    регистрация направления распространения света в какой-то степени равносильна наращиванию числа пикселей на принимающей матрице или увеличению ее светочувствительности (из чего-то же надо извлекать дополнительную информацию). и если это предположение верно, то у камеры для одного снимка должна быть довольно длительная выдержка, сопоставимая с длительностью нескольких снимков
    ОтветитьНравится
  • Александр Вихров  24 июня, 21:50
    Вопрос, скока она будет стоить? Только зная порядок цифр, имеет смысл говорить о революции.
    ОтветитьНравится
  • Владимир Королёв  25 июня, 00:45
    Если в каждом пикселе мы записываем уже не пиксель а целое световое поле, то получатся либо гигантские объемы информации на каждую фотку, что не каждый фотоаппарат сможет обработать и записать быстро в память. Либо из 16 мегапикселей останется хорошо если один. Если мы световое поле будем кодировать квадратом 4х4. Но основной вопрос:зачем? для чего плодить лишнюю информацию, чтобы потом от нее избавляться. Я бы был приятно удивлен, если бы вообще избавились от объектива, поставили бы перед каждым пикселем микролинзу. Вот это был бы прорыв.
    ОтветитьНравится
  • Семён Есилевский  25 июня, 10:40
    А вот кстати +1. Это будет полное доведение этой идеи до логического завершения.
    Кстати как именно пишется направление понять невозможно — лучи на пиксель приходят с разных направлений. Какое из них записывается?
    ОтветитьНравится
  • Александр Милков  25 июня, 12:01
    Направление пишется очевидно не на один пиксель а на небольшой массив пикселей, аналогично работе системы коррекции в оптических приводах.
    ОтветитьНравится
  • Александр Митькин  29 августа, 17:50
    Вовсе не гиганский объём информации.
    1. Вы снимаете фото с максимальным разрешением. По стандарту RGB — это 256х256х256 бит.
    2. теперь допустим вы хотите внести расстояние до этих точек, т.е вы имеете ещё одну картинку, в которой вместо цвета записано расстояние. Соответственно получаем, при градации растояния в 1 миллиметр, расстояние более чем в 16 километров. А ёмкость-то всего увеличилась в два раза.
    ОтветитьНравится
  • Лев Черемухин  25 июня, 12:01
    Интересная разработка. Коммерческое применение выстрелит при применении соответствующих проекторов — будет новое поколение 3D видео, где помимо 3D изображения человеческий глаз сам сможет фокусироваться на желаемых объектах.
    ОтветитьНравится
  • Александр Милков  25 июня, 12:07
    Как уже правильно заметили — для получения сколь нибудь высоких разрешений и высокого качества (для полиграфии) должна быть матрица с количеством пикселей на порядок превышающем сейчас существующие — а это потянет за собой либо увеличение размера матрицы, а значит и оптической системы, либо уменьшение размера одного пикселя. Второй вариант будет неприменим для профессиональных фотографов — т.к. размер пикселя очень значим для светочувствительности — будет зашкаливающий уровень шумов, матрица получится «горячей». В любом случае понадобится быстрая память и быстрый процессор обработки в самой камере — и тоже на порядок быстрее чем то, что имеем сейчас.
    Думаю, что концепт является концептом больше потому, что он еще далек, очень далек от финальной стадии.
    ОтветитьНравится
  • Леонид Желамский  26 июня, 01:24
    На сегодняшний день сделать можно такую камеру, и даже весьма успешно. Забывать не нужно, что прежде чем выходит что-то новое, нужно продать старое. Что б денег заработать побольше.

    Если это будет удобный и недорогой продукт, то он будет очень хорошо покупаться.

    Я думаю, появится. В этой сфере всё очень быстро прогрессирует.

    Но идея — не нова. (Я считаю, большенство людей с зеркальной камерой покупают её как хобби, что бы «поиграться». Думаю процент купивших зеркальную камеру, который так или иначе работает со снимками и зарабатывает на этом, меньше 5. Потребительский рынок на новые зеркальные камеры развит, народ покупает — а что ещё нужно? По-этому, вопрос в том, может ли такая камера занять достаточную его (рынка) часть).

    ОтветитьНравится
  • Олег Югов  26 июня, 13:18
    Жаль что не указан объём записанной информации на один кадр, но всяко ясно, что такие фото потребуют введения нового формата данных. В джипеге такое фото не просмотришь.
    Слишком обширное поле предположений о сути процесса ПОСЛЕ записи снимка.
    ОтветитьНравится
  • Артур Фролов  26 июня, 17:35
    у меня такое ощущуение, что я эту статью уже читал. лет эдак несолько назад. может даже 5..
    ОтветитьНравится
  • Евгений Зяблов  26 июня, 20:22
    Теория таких преобразований давно изучена. Я давно уже ждал появления таких фотоаппаратов (вернее сказать, не понимал, почему в смартфонах без автофокуса не используется «программная» автофокусировка)
    ОтветитьНравится
  • Олег Апарцев  28 июня, 14:27
    По моему, это принципиально «аберрационная оптика». Оптика, где линзы хороши тем, чем плохи обычные линзы, именно тем что в разных зонах они имеют разный фокус.
    При этом прелесть заключается в том, что настройка такой оптики может быть большей частью програмным продуктом по некоторым «тестовым засветкам».
    Понятно, что при достаточно большом в поперечном сечении объектива, мы получаем аналог 3-D естественным образом, на различии в изображениях в центре и на периферии.
    Математически, пожалуй, это проще реализовать при помощи Быстрого Фурье-преобразования.
    ОтветитьНравится
  • Сергей Шляхтов  28 июня, 19:45
    Не, ребята демократы, это новая высокотехнологичная игрушка, которая стоить будет бешеных денег. Но это верное направление развития данной отрасли, и в этом вся соль. Кстати, фильмы с таким принципом представления очень уж будут нестандартные, поскольку в них зритель сам выбирает на что фокусировать внимание, а не режиссер за него. Кроме того, стандартная павильонная съемка уже не пригодна...
    ОтветитьНравится
  • Александр Вихров  29 июня, 07:58
    Маладцы, сделали узкий ГРИП и играются. А я просто делаю большой ГРИП и всё прекрасно видно, как ближний, так и дальний план. — s61.radikal.ru/i173/1106/df/5a719a15a170.jpg
    ОтветитьНравится
  • Сергей Шляхтов  1 июля, 01:58
    Смысл не сделать картинку четкой, это давно уже умеют (диафрагма, объективы и даже совмещение ряда снимков). Смысл сделать ее реальной...
    ОтветитьНравится
  • Зачем дублировать реальность? Смысл сделать картинку ХУДОЖЕСТВЕННОЙ.
    ОтветитьНравится
  • Сергей Шляхтов  5 июля, 22:50
    Художественное не реальное???
    ОтветитьНравится
  • Пётр Алефиренко  17 июля, 15:58
    Да, дублировать реальность, это сухая документалистика. От фотоаппарата и фотографии, большего желать наивно. А выразить себя и свои мысли, эмоции, чувства — это уже работа для мозга или если хотите для души художника. Это можно и охрой по стене пещеры...
    Новые технические возможности порождают и новые поводы для творчества или если муза позовет — искусства.
    ОтветитьНравится
  • Константин Верехин  9 января, 11:00
    дорого пока что это, но вообще вещь интересная
    ОтветитьНравится