Из чего сделана музыка? Поэтическая натура ответит, что она соткана из шума ветра, журчания воды и пения птиц. Зануда начнёт втолковывать вам про мелодии и такты. А наши нынешние герои ответят, что буквально извлекают музыку из рисунков, собирают её из монеток, авторучек и мобильников, найденных в карманах, возводят из кубиков и просто ваяют руками.
Менять параметры звука на лету, подрисовывая на листке бумаги разнообразные линии, вставлять различные эффекты и менять темп, перемещая по столу первый попавшийся небольшой предмет (вроде карандаша и коробка спичек), вмешиваться в мелодию простым движением пальцев – всё это позволяет прибор под названием scoreLight.
Над его созданием потрудились исследователи из Токийского университета (University of Tokyo): Альваро Кассинелли (Alvaro Cassinelli), Даито Манабе (Daito Manabe), Юсаку Курибара (Yusaku Kuribara) и Масатоси Исикава (Masatoshi Ishikawa).
В основе системы – сканер с лазерным лучом, ощупывающим предметы как лежащие на столе, так и находящиеся в воздухе. Прибор умеет определять контуры объёмных предметов и их передвижение, а также распознаёт границы линий, нарисованных на бумаге.
Движения лазера, словно обходящего рисунки и предметы по кругу, управляют параметрами звучания. Причём законы такого управления могут меняться в широких пределах.
Как можно убедиться по представленному видеоролику, издаваемые первым образцом устройства завывания имеют мало общего с музыкой. Но это было только доказательство работоспособности идеи.
Прежде чем рассказать, как у авторов машинки начало получаться хоть что-то похожее на музыку и показать прибор в действии, сделаем шаг назад.
Любопытно, что scoreLight вырос из проекта, с мелодиями и ритмами никак не связанного. В 2003 году, работая в лаборатории Исикавы-Комуро (Ishikawa Komuro Laboratory), Кассинелли в соавторстве с рядом специалистов придумал и построил трёхмерный интерфейс управления компьютером Smart Laser Scanner.
Принцип его таков: маломощный лазер ловит кончик пальца и далее в реальном времени отслеживает его, не отпуская. Движется ли рука вверх или вниз, приближается ли к прибору или удаляется от него – лазерный зайчик следует за пальцами как приклеенный, при этом ему не нужны яркие маркеры. Таким образом, появляется возможность управлять объектами виртуального мира.
Вместо полного сканирования всего поля зрения Smart Laser Scanner ограничивает своё внимание одним объектом. Но при этом его можно отвлечь, если другой предмет пересечёт луч и «приклеит» его к себе.
Это свойство машинки давало интересные возможности в компьютерной графике и дизайне. Кроме того, если бы такой аппарат инженеры ужали до оптоэлектромеханического микрочипа, «умный лазер» мог бы стать интересным интерфейсом для мобильной техники, совмещающим в себе «перьевой ввод» (только работающий прямо в воздухе и без всяких стилусов) и показывающим надписи, к примеру, на ладони пользователя.
В 2008 году Альваро задумал использовать способности сканера для раскрытия новых возможностей в мире искусства. И решил организовать нечто вроде искусственной синестезии, в чём ему принялись помогать коллеги из Токийского университета.
Специальный софт превратил сканер в установку scoreLight, под оком которой зазвучали линии на бумаге, трансформировались в ноты изгибы и пики, зазвучали полутонами шероховатости и фактура рисунков.
В программу устройства заложено несколько вариантов влияния объектов в поле зрения лазера на выходной звуковой сигнал.
Тон может управляться наклоном линий. Темп игры будет зависеть от длины контура, который обегает луч. Поворот всего рисунка руками способен транспонировать всю мелодию вверх или вниз. Тон также может зависеть от текущего значения кривизны линии на том участке, по которому бежит луч. А заранее условленные элементы рисунка (острые углы, например) могут включать спецэффекты (перкуссию и так далее).
Световые зайчики scoreLight (а установка может генерировать сразу несколько лучей) способны подпрыгивать на элементах рисунка, словно мячики в поле гравитации, и каждый отскок можно запрограммировать на воспроизведение определённого звука, а частоты прыжков будут влиять на ритм. (Отчасти этот вариант перекликается с идеями, воплощёнными ещё в "Электропланктоне" Тосио Иваи (Toshio Iwai), — признаёт Альваро, — но идёт дальше.)
Наконец, на параметры мелодии может влиять взаимное расположение ряда таких световых пятен. Однако самое, пожалуй, примечательное в изобретении Кассинелли: лазеру в общем-то всё равно, за чем следить – рисунком ли на плоскости или границами предметов (рук).
Последняя идея была благосклонно принята зрителями, опробовавшими обновлённую установку в конце октября 2009 года в Токио на выставке компьютерной графики и систем виртуальной реальности ConTEX 2009.
Взаимодействие с лазерным сканером – это не только «игра на музыкальном инструменте», но ещё и развлечение со световыми зайчиками. А они, как мы уже знаем, готовы «накинуться» на что угодно. Стало быть, специальные карточки, конусы, кубики, которые появлялись в начале проекта, не обязательны. Достаточно и пустого стола.
Сами авторы системы говорят, что пока не ясно – выльется ли она в полноценный музыкальный инструмент. Тут ещё установке расти и расти. Альваро полагает, что в программе управления ещё предстоит подобрать удачный баланс между случайными элементами и жёстким контролем, дабы таким способом можно было действительно сочинять музыку.
Однако scoreLight предоставляет людям возможность принципиально нового взаимодействия со звуками, и даже в каком-то смысле – открывает новый взгляд на мир. Взгляд, сравнимый со странными ощущениями синестетиков.
Когда человек (под «прицелом» сканера) рисует композицию, он не может сказать – занимается ли изобразительным искусством или исполняет мелодию. Кассинелли предлагает для такого смешанного действия ввести новое обозначение – drawplaying.
