Автоматический аккомпаниатор Sony всегда знает, что будет дальше

Для работы с Continuator нужен инструмент с поддержкой MIDI.

Sony готовит очередную «игрушку» для музыкантов — робота-аккомпаниатора. Нет, на Aibo он не похож. Cейчас это не более чем программа-прототип с огромной базой данных, управляемая с помощью интерфейса MIDI.

У музыкантов есть понятие «самоиграйка», относящееся к дешёвым синтезаторам, кои горазды плодить компании Casio и Yamaha.

В таких устройствах записано несколько простых и не очень аранжировок, характерных для определённых стилей, которые управляются на уровне аккордов: музыкант нажал до-мажорное трезвучие левой рукой, в до-мажоре звучит и автоматический аккомпанемент. Изменить тональность? — Нажмите соответствующий аккорд.

На словах всё просто, на деле — не очень, но суть в том, что, запуская автоаккомпанемент, живой исполнитель не только управляет, но и подчиняется ему: координируется с ритмом и меняет тональности — в соответствии с ним. Иначе получится каша. Ибо машина не знает, что из ритма можно выбиваться и держит его железно.

Кстати, поэтому двум живым музыкантам легче сыграться друг с другом, нежели живому музыканту с издающей звуки машиной.

Работники Sony придумали «самоиграйку», а точнее будет сказать «самоподыграйку» качественно иного уровня. С ней не придётся сыгрываться, она сама будет подстраиваться под исполнителя. Нужен только инструмент с интерфейсом MIDI.

В Sony работает профессиональный музыкант, как говорят, виртуозный клавишник и джаз-гитарист Франсуа Паше (Francois Pachet). Он — создатель весьма хитрой программы, называющейся Continuator («продолжатель»), которая с изрядным подобием изображает из себя живого аккомпаниатора, способного не только присоединиться к игре живого музыканта, но и развить тему, сымпровизировать, — в общем, всячески украсить исполнение одного человека.

Создатель Continuator Франсуа Паше с гитарой.

Хитрость же состоит в том, что вступает машина не сразу: первые несколько тактов, она анализирует, что играет музыкант, а затем — бросается, так сказать, в бой, исполняя музыку, как пишет New York Times, «в похожем стиле».

Чтобы программа доктора Паше начала работать, играть придётся на инструменте, оснащённом MIDI-интерфейсом. Упрощённо — это интерфейс, обеспечивающий взаимодействие и взаимопонимание синтезаторов и других электронных музыкальных устройств. Пусть и не полное.

Каждая сыгранная на MIDI-инструменте нота и все её сопутствующие характеристики, в том числе сила нажатия клавиши, тембр и его общая громкость, расположение в стереопанораме, и тому подобные вещи, — всё это рассматривается как отдельные сигналы (MIDI events). Это основной принцип работы интерфейса.

Continuator Паше анализирует эти сигналы, считывая с них стиль музыкального произведения, приблизительный темп, и, дождавшись паузы со стороны музыканта, тотчас вступает со своим аккомпанементом и вариациями.

Причём, как говорят, делает это настолько гладко, что слушатели не могут толком разобрать, когда перестал играть музыкант, и вступила программа.

В общем, иллюзия живого исполнения весьма впечатляющая.

Подыгрывает Continuator гладко, и подстраивается под игру музыканта очень чётко, однако весь процесс «генерирования» музыки — это сугубая математика.

Программа исходит из математической модели, определяющей, какая нота может прозвучать вслед за предыдущей — в рамках того или иного стиля.

Ещё Моцарт развлекался «музыкальной игрой в кости».

Музыкальное произведение разбивается на фразы, каждая из которых анализируется и обрабатывается. Существует также увесистая база данных, из которой программа черпает «продолжение» для каждой музыкальной фразы. Учитывается также ритм и стилевые особенности игры музыканта. А в общем, как водится, сплошная математика.

Кстати, идея «конструировать» музыку из отдельных заранее известных фраз — не нова совершенно. Сейчас этим занимаются дискотечные диджеи. А вообще, ещё в 1792 году Моцарт создал нечто под названием «Музыкальная игра в кости»: произведение было составлено из отдельных готовых музыкальных фраз, выбор которых осуществлялся с помощью метания костей...

Что же касается отсутствия паузы между тем моментом, когда музыкант прекращает играть, и вступает программа, так это была главная проблема, заботившая Паше с самого начала разработки.

Джон Маклафлин, славящийся своей небывалой виртуозностью.

Паше переслушал огромное количество музыкальных произведений, в том числе музыку гитариста Джона Маклафлина (John McLaughlin), известного своей виртуозностью. В среднем, он играет одну ноту в 60 миллисекунд.

Исходя из этого сугубо математического показателя, Паше и его коллеги научили Continuator обрабатывать введённые MIDI-данные и генерировать продолжение для каждой данной фразы менее чем за 30 миллисекунд.

Прототип программы, написанный, кстати, на языке Java и запущенный на компьютере с процессором Pentium III обеспечивает время обработки и генерации новой музыкальной фразы менее чем за 5 миллисекунд.

И хотя сам Паше убеждён, что в этой механической музыке нет магии, как выясняется, большинство людей не могут отличить игру живого музыканта от работы Continuator. Особенно, если исполнение идёт в быстром темпе.

В будущем, вероятно, роботы-компаньоны, вроде Aibo той же компании Sony, будут обладать возможностью подыгрывать и развивать музыкальные темы вот таким вот образом. Пока же Continuator может быть интересен музыкантам, которые хотели бы проанализировать собственное исполнение. А может быть, и не только им.



Бывший полицейский открыл музей игрушечных роботов

1 сентября 2003

Выпущены новые модели роботов-пылесосов

28 августа 2003

Smart Dust: у пыли уже хватает ума помочь человеку

26 августа 2003

Шпионского робота-змею научили переживать повреждения

21 августа 2003

Изобретён робототехнический костюм для больных и пожилых людей

21 августа 2003