Цифровой кибернарратив: «Опера мозга» Тода Маховера

Безменов Вадим Сергеевич ORCID: 0000-0003-3981-9649 Руководитель студии эстрадно-джазового вокала "Триумф", Культурный центр Зеленоград 124482, Россия, г. Москва, ул. Центральная Площадь, 1, оф. 252 Bezmenov Vadim The head of the pop and jazz vocals studio “Triumph”, Zelenograd Cultural Center 124482, Russia, Moscow, ul. Central Square, 1, office 252 bezmenov333@yandex.ru

Опера как вид искусства, сопрягаемый с социальными процессами и зависимый от изменений культурных ориентиров, в ХХI веке подвергается глобальной трансформации. В настоящий период, определяемый невероятно стремительными социальными, экономическими и культурными метаморфозами, вызванными свершившейся «цифровой революцией», повсеместным распространением Интернета и всевозможных сетевых устройств и персональных гаджетов, новый поджанр оперы превратился в дискурсивное пространство вокруг взаимоотношений человека и технологий в цифровую эпоху. Это ответвление оперного жанра в зарубежных исследованиях называют «кибернарративной» оперой ^[1,2]. Кибернарратив определяет специфику нового оперного жанрового ответвления, неразрывно связанного с цифровым технологиями, которые в данном контексте, приобретают тематическое значение и выдвигаются на первый план.

В ХХI веке это направление получает мощный импульс развития, однако, его основания были заложены еще в конце ХХ века и одним из важных источников новых идей стало творчество американского композитора и изобретателя Тода Маховера. Маховер много лет возглавляет экспериментальную группу под названием «Гиперинструменты/Опера будущего» в MIT Media Lab. Направление многогранной творческой деятельности Маховера, совмещающего в себе как ученого, так и композитора вливается в направление, определяемое как «Global Science Opera». Оно объединяет в себе науку, искусство, технологии и образование посредством глобальной сети научных, художественных и образовательных учреждений и проектов. В основе цифровое взаимодействие и идея создания на основе дистанционных цифровых технологий коллективных опер.

Созданная Маховером и его командой Медиа-лаборатория - MIT Media Lab, представила в 1996 году проект под названием Brain Opera (Опера Мозга), явивший первый в своем роде опыт интерактивного взаимодействия слушателей и создателей оперного спектакля, который включал в себя как онлайн-участников, так и живых зрителей. Премьера Оперы Мозга состоялась в Линкольн-центре в Нью-Йорке в период с 23 июля по 3 августа 1996 года.

В Медиа-Лаборатории совместно со своей творческой группой Маховер разработал не только концепцию Оперы Мозга, но также и идею так называемой «Игрушечной Симфонии» - проекта, в котором потенциал детской креативной энергии достиг своего апогея. Композитор и изобретатель предлагает рассматривать способность к музыке как некую универсальную человеческую возможность, существующую априори в том же контексте, что и языковые способности. К настоящему моменту Маховером создано пять опер. Перечислим их в хронологическом порядке: опера «Валис» (VALIS): опера в двух действиях (1987) по роману Филипа К. Дика; «Опера Мозга» (Brain Opera) (1996) – интерактивная музыкальная опера-инсталляция по книге Марвина Минского; «Воскресение» (1999 – опера по роману Льва Толстого; «Скеллиг» (2008), опера по одноименному роману Дэвида Алмонда; «Смерть и Власть» (2010), опера с живой электроникой и робототехникой, разработанная в Медиа Лаборатории Массачусетского технологического университета. Либретто Роберта Пински; «Шенберг в Голливуде» (2018), опера с кинематографическими фрагментами и живой электроникой. Либретто Саймона Робсона.

Разработав также множество новаторских музыкальных технологий, в числе которых - Гиперинструменты (Hyperinstruments), расширяющие возможности музыкальной виртуозности, а также Гипер-партитура (Hyperscore), программное обеспечение, которое позволяет любителям создавать сложную, оригинальную музыку с использованием графических изображений: линий и цветов.

Среди его более поздних произведений опера «Смерть и Власть», включающая в себя различные специально созданные устройства: интерактивную музыкальную люстру, аниматронные стены и целую армию роботов.
Далее творческая группа Маховера сосредоточилась на соединении музыкальных технологий с идеями трансгуманизма. Работая с пациентами в таких учреждениях, как больница Тьюксбери Бостона, целью группы является создание адресных музыкальных мероприятий, которые адаптируются к навыкам, существующим проблемам и потребностям каждого конкретного человека.

«Опера Мозга» стала занимательным ярким и необычным интерактивным проектом). Этот интерактивный спектакль гастролировал по Европе, Азии, США и Южной Америке с 1996 по 1998, а в 2000 году его интерактивная инсталляция была постоянно установлена в Доме музыки в Вене. Творческая коллаборация «Оперы Мозга» располагалась между различными городами и странами: коммуникация осуществлялась через использование комбинаций Skype и Team Viewer.

Проект был изначально адресован не только взрослым любителям музыки, но и самым младшим любителям музыки в возрасте до 8 лет. Возможно, причиной подобной популярности послужило отсутствие поведенческих барьеров и желания включения в социальную игру — творческий процесс, вовлекающий людей всех возрастов. Маховер стремился привлечь эти разновозрастные группы людей напрямую, через создание особого инструментария, включающего в себя современные технологии.

Идея создания интерактивной композиции, основой которой может быть физический жест или какая-либо сформулированная реципиентом при особых прилагаемых условиях музыкальная мысль, привлекала многих композиторов ХХ - ХXI го века. Осуществление этой идеи неизбежно ставит вопрос необходимости создания музыкальной системы, основанной на физиологии человека. Системы биологической обратной связи традиционно были средством анализа вызванной реакции. С тех пор понятие биоконтроля было развито достаточно широко. В последнее время разработка специальных интерфейсов получила широкое распространение и имеет потенциал развития в различных музыкальных приложениях. Аналоговые системы биологической обратной связи использовались в музыке с 1960-х годов. Дэвид Тюдор, композитор и соавтор Джона Кейджа, применил биологическую обратную связь, непосредственно управляющую звуком. "Музыка для исполнителя соло" Элвина Люсьера стала самой известной композицией, основанной на интерактивности. Люсьер писал: «Я осознал ценность ситуации на ЭЭГ [электроэнцефалограмме], представив это как перформативный элемент театра. Я также был тронут изображением неподвижного, если не парализованного человека, который просто изменяя состояния визуального внимания, можно активировать при помощи ударных ^[10,5]».

Дэвид Розенбум создал ряд гибридных работ с биологической обратной связью и определил это поле следующим образом: «Термин “биологическая обратная связь” будет использоваться для обозначения представления в организме информации через сенсорные каналы ввода о состоянии и / или ходе изменения биологического процесса в этом организме, с целью регулирования или контроля производительности над этим процессом, или же просто с задачей внутреннего исследования и повышения самосознания» ^{[2, 47]}.

Использование ЭЭГ или записи сигналов мозговых волн увлекало многих художников – перформеров и музыкантов. Со времен Люсьера и Розенбума наиболее «продвинутые» многоканальные электродные системы позволяют более детально контролировать деятельность мозга человека. Между тем, электроника сделала понятие биологической обратной связи доступным для широкого круга людей. Такие интерфейсы как Interactive Brainwave Visual Analyzer (IBVA) Масахиро Кахата применялись также нью-йоркским музыкантом Мия Масаокас с целью расширения инструментальной исполнительской практики. Они использовали низкоамплитудный, высоко шумовой сигнал, однако, извлечение музыкально значимых сигналов из биопотенциала мозга до сих остается проблемой в художественно-перформативной практике.

Использование медицинских электродных систем позволило тщательно изучить музыкальные идеи и их репрезентацию в системе ЭЭГ. Голландский ученый Питер Десейн изучил физические ответы на ЭЭГ в качестве ритмических стимулов, исследуя возможность обнаружения через ЭЭГ воображаемого ритма субъектом, сопоставляя выходной сигнал ЭЭГ с записанным следы при прослушивании этого ритма. Разработки в области компьютерного моделирования мыслительных процессов - интерфейсы (BCI) были расширены до возможности музыкального взаимодействия. Бразильский композитор Эдуардо Миранда предлагает музыкальные интерфейсы мозг-компьютер (BCMI), используя непрерывные показания ЭЭГ, которые активируют генеративные музыкальные алгоритмы и биосигналы, преодолевая также сложность модуляции музыкальной динамики. Эндрю Броуз создал медитативную инсталляцию с использованием этих технологий ^{[3, 100]}.

Идея биомузыки существовала и развивалась с начала ХХ века. Еще в 1934 году Е. Адриан и Б. Мэтьюс психофизиологи осуществили попытку преобразования электроэнцефалограммы мозга (ЭЭГ) в звук. Альфа-ритм — это устойчивые колебания частотой 10 Гц. Они регистрировались с помощью энцефалограммы. Известный перформанс Элвина Люсьера «Музыка для исполнителя соло» (Music for Solo Performer 1965 г.), одним из первых исполнителей которого был Джон Кейдж, своим основанием имел сотрудничество с Эдмондом Дьюаном – ученым, занимавшимся исследованиями биопотенциалов мозга.

Появление методов цифровой обработки сигналов в 1980-х годах сделало воспроизводимым контроль элементов взаимодействия и одновременно более надежным, чем при использовании аналоговых технологий. Таким образом, произошел фундаментальный сдвиг в возможностях художественного использования биологической обратной связи к введению понятия биологического контроля. В то время как биологическая обратная связь позволяет контролировать физиологическое состояние и может переводиться на другие носители с помощью визуализации или ультразвуковой обработки, биоконтроля, она стремится создать воспроизводимое взаимодействие с использованием физиологических биосигналов. Тереза Маррин Накра из MIT Media Lab использовала активный сухой электрод Delsys-системы телесности для электромиографического (ЭМГ) отслеживания жестов дирижера оркестра. Ёичи Нагашима создал самодельную схему еще до создания theDIY. движение для имитации музыкального взаимодействия на основе ЭМГ ^[4].

Все эти революционные технологии стали основой кибернарратива в современной опере. Почву для развития этих идей подготовило творчество американского композитора Тода Маховера и в частности – его проект Опера Мозга (Brain Opera).

Опера Мозга — это интерактивное музыкальное путешествие в «дебри разума», представленное, одновременно, как в физическом, так и в киберпространстве. Это был первый образец оперного жанра, в котором исполнитель с помощью биопотенциалов мозга в беспроводной ЭЭГ-гарнитуре запускал как видео, звуковое окружение, так и либретто, в тесной связи с деятельностью биопотенциалов мозга.

У Маховера вышеупомянутая идея применения биопотенциалов головного мозга, ранее использованная Люсьером, получает новый ракурс творческого развития. Биопотенциалы — импульсы мозговой активности отображаются в реальном времени: исполнитель взаимодействует с аудиторией в пределах 360-градусного иммерсивного театра, и драматическая история рассказывается в пространстве между исполнителем и зрителем.

Основополагающая идея заключалась в том, чтобы попытаться найти ответ на вопрос: есть ли место в человеческом сознании, которое было бы невозможно представить через посредничество современных технологий, спроецировав его на изображение и звуковую среду? Маховер создал предварительное либретто, основывающееся на устном повествовании – подлинной истории жизни Нур Инайят Хан - суфийской мусульманской принцессы и одновременно тайного британского агента в оккупированной нацистами Франции, затем убитой в Дахау.

Основными механизмами сюжета оперы представлены: память и самопознание, которые строятся на основе инвазивных и сложных технологий наблюдения и самоконтроля. В проекте были задействованы тактильные факторы взаимовлияния исполнителей и участников через создание системы обратной связи, в которой исполнитель взаимодействовал с аудиторией посредством движения, взгляда, прикосновения и речи, что заметно изменяло альфа-ритмы мозговой деятельности исполнителя.

В основе сюжета – образ молодой женщины Нур Инаят Хан, чей отец Хазарат Инайят Хан принес суфизм на Запад в начале ХХ века. Нур родилась в Москве ее мать — американка, а отец индус; она выросла в Великобритании и Франции, и, будучи из аристократической индийской семьи, приходилась пра-праправнучкой Типу Султану, правителю княжества Майсур; свободно говорила как по-английски и по-французски. Во время Второй мировой войны британское Управление специальных операций SOE воспользовалось этим фактом, и в 1942 году ее забросили в оккупированный Париж работать радистом сопротивления. Нур была первой женщиной-радисткой, отправленной в оккупированную нацистами Европу, а ее подпольная работа продлилась всего три месяца, после чего ее разоблачили. Ее пытали в Гестапо, а затем отправили в концентрационный лагерь. В 1944 году Нур была расстреляна в Дахау. Во время ее заключения она никогда не разглашала информации. Этот факт – внутренняя работа сознания, которую при помощи современных технических средств можно было сделать объектом контроля, стал основной идеей оперы, которая напрямую связана с центральной темой творчества Маховера о возможности наблюдения за человеческим сознанием, с помощью биометрических показателей человека — в первую очередь за человеческим мозгом.

Работа над оперой осуществлялась в течение двух лет. Как только Маховер получил доказательство своей концепции, что мозговые волны действительно способны вызывать визуальные эффекты, формировать звук и речь, он создал творческую коллаборацию с программистом Max / MSP Томми Мартинезом, который разработал патч для запуска различных паттернов мозговых волн в соответствии с четырьмя различными психическими состояниями. Затем он обратился к звуковому художнику Тарасу Машталеру. Текст был основан на биографии Нур, которая существовала изначально в материалах индийской писательницы Шрабани Басу, опубликованных первоначально в сети, а затем на английском языке под названием «Принцесса-шпион» ^[5], а во второй версии, появилась в документальном фильме «Враг Рейха» режиссера Роберта Х. Гарднера.

Звуковая партитура, предварительно записанное либретто и видео содержались внутри четырех электронных банков данных, где были зафиксированы звуки, соответствующие определенным эмоциям: возбуждения, медитативным состояниям и ощущениям разочарования. Эти банки данных запускались установленными критериями, которые были отобраны во время репетиций исполнителями. Так, например, в тот момент, когда отображались определенные состояния героини Нур, Маховер стремился к репрезентации медитативности и сосредоточенности. В тот момент, когда достигалось определенное пороговое состояние, появлялась гармоничная и спокойная музыка. В либретто прозвучало девяносто девять имен Бога, почти так же, как в знаменитом вокальном секстете “Stimmung” Штокхаузена.

Последовательность звуков, изображений и заранее записанных слов могла бы запускаться случайным образом из каждого отдельного банка данных, но непременно в тот момент, когда был достигнут и предопределен порог измерения той или иной эмоции. Это преодоление было необходимым, чтобы избежать запуска неверных цепочек реакций, посредством чрезмерного эмоционального напряжения. Банки данных, соответствующие эмоциям возбуждения, производили короткие, прерывистые звуки. Отдельные ключевые фразы либретто, способные переключать эмоциональные планы, соотносились с другими эмоциями, например разочарования, следующими за аналогичными, но согласно четко продуманным траекториям.

Помимо истории Нур Инаят Хан еще одним важным источником служит широко известная и даже переведенная на русский язык книга Марвина Минского «Сообщество разума».

Марвин Минский — отец искусственного интеллекта, в 1959 году вместе с Джоном Маккарти он основал первую Лабораторию в Массачусетском технологическом институте, в котором также работал и Тод Маховер. Исследования Минского привели к теоретическим и практическим сдвигам в освоении искусственного интеллекта, оказали влияние на развитие когнитивной психологии, нейронных сетей, теории машин Тьюринга и рекурсивных функций. Один из пионеров интеллектуальной робототехники и телеприсутствия. Минский, будучи сторонником символьной теории в ИИ, в 1974 году предположил, что человеческий разум интерпретирует каждый новый объект, и, в частности языковой, посредством особых структур памяти, которые он назвал фреймами. В 1986 году он издал свою книгу «Общество разума» ("The Society of Mind") ^[6], послужившую, в том числе и основой темой оперы Маховера. В этом исследовании содержится теория мышления, которая затрагивает все что возможно: от зарождения человеческой речи и, заканчивая утверждением, что компьютер, бесспорно обладающий мыслительным потенциалом, в отдельных случаях, может даже не подчиняться исключительно чистой логике. Минского, так же, как и Маховера, увлекала идея инструментария, предназначенного для познания закономерностей мышления. Основополагающим тезисом в концепции ученого стало то, что мышление основывается на сложном взаимодействии множества простых программ.

Минский видел в музыке особый потенциал для освоения тайны человеческого разума, задаваясь вопросом: «Почему мы любим музыку?», он утверждал: «Наша культура погружает нас в это на несколько часов каждый день, и все знают, как это затрагивает наши эмоции, но мало кто задумывается о том, как музыка затрагивает другие мысли. Поразительно, как мало у нас любопытства по поводу столь всепроникающего «экологического» влияния. Что мы могли бы обнаружить, если бы изучили музыкальное мышление? Есть ли у нас инструменты для такой работы?» (…) «Я чувствую, что теория музыки застряла, слишком долго пытаясь найти универсалии. Конечно, мы хотели бы изучать музыку Моцарта, как ученые анализируют спектр далекой звезды. Действительно, мы находим почти универсальные практики в каждую музыкальную эпоху. Но мы должны относиться к ним с подозрением, поскольку они могут показать не больше, чем то, что композиторы тогда считали универсальным. В таком случае поиск истины в искусстве становится пародией, в которой практика каждой эпохи лишь пародирует предрассудки своих предшественников». ^{[6, 39]}

Проблема поиска универсальных законов мышления с точки зрения Минского, заключается в том, что и память, и мышление взаимодействуют и развиваются вместе. Мы не просто узнаем о чем-то, а учимся думать; и тогда мы можем научиться думать о самом мышлении. Вскоре наши способы мышления становятся настолько сложными, что мы не можем ожидать понимания их деталей с точки зрения их поверхностного функционирования, но мы можем понять принципы, которые направляют их рост ^{[6, 39]}.

Исследования процесса создания музыки, выполненные Минским, признают ряд важных аспектов общности между сочиненной и свободно импровизированной музыкой. В одном из интервью 1985 года Джорджа Льюиса прозвучало то, что Минский интересовался взаимоотношениями свободной импровизации и музыкальной композиции. «Я помню, как разговаривал с Марвином Минским и Марианн Амашер однажды в Сохо [...], и я сказал, что хочу купить компьютер и построить на нем интерактивную систему импровизации. [...] Казалось, они сочли, что это хорошая идея, и ее следует обсудить» ^{[7, 25]}. Так существуют и «объективные» подсказки (темы, формы движения, и т. д.) и, напротив, «субъективные» сигналы, которые обладают скорее психодинамическими функциями (например, для развития или начала), которые могут восприниматься по-разному в зависимости от слушателя и не обязательно идентифицируемы в партитуре» ^{[7 ,26]}.

Свидетельства относительно важности этих «субъективных» сигналов перекликаются с описанием музыкального произведения Минского: «Музыка, конечно, не обязательно должна оправдывать ожидания каждого слушателя; каждый звуковой сюжет требует новизны. Намерения не столь уж важны: намерения, контроль или новизна превращается порой в нонсенс. [...] У композиторов могут быть разные цели: утешать и успокаивать, удивлять и шокировать, рассказывать сказки, поражать художественной оригинальностью, учить новому или разрушать предшествующие представления об искусстве. [...] Когда ожидания подтверждаются слишком часто, музыкальная стилистика может показаться очень скучной. [...] Каждый музыкальный исполнитель должен прогнозировать и предварительно направлять фиксацию слушателя на привлечении его внимания» ^{[7, 39]}.

С точки зрения исследователя психоакустики Ирен Дельеж, исполнители, которые занимаются свободно импровизированной музыкой, способны к взаимодействию, что могло бы быть объективным сигналом, но, возможно, более специализированные навыки — это искусное управление теми самыми «психодинамическими функциями» субъективных сигналов ^[10,250]. Их привлечение (здесь нужно вспомнить и интерактивный инструментарий Тода Маховера – его гиперинстументы), влечет за собой хотя бы частично, активное переключение внимания слушателя путем непрерывной координации ^{[8, 27]}. В импровизации, «смысл создается в режиме реального времени исполнения, как столкновение или согласование различных наборов значений: [...] и то, что отдельные исполнители воспринимают и / или опосредуют, является тем, чего ожидает аудитория и тем, что она в итоге получает» ^[8,29].

Опера Мозга разделена на три части: «дебри разума», интерактивное пространство» в котором аудитория исследует и создает музыку, связанную с Опера Мозга через шесть новых интерфейсов. Net Music – это виртуальное интерактивное пространство, в котором участники из Интернета исследуют и создают музыку, связанную с Опера Мозга через Java-апплеты. Спектакль — перформанс Опера Мозга включает в себя три группы перформеров, которые используют новые интерфейсы, чтобы одновременно исполнять написанную музыку и знакомить публику с онлайн хранилищем сети Интернет.

В конце прошлого - начале нынешнего века психологи и психиатры выдвинули гипотезу о том, что человеческое сознание каким-то образом «управляется» одним (или небольшим количеством) высокоинтеллектуальных «центров управления». Мир «человеческой мысли» и сознания настолько не похож на любые другие явления, что многие считали разум необъяснимым с научной точки зрения. Еще в конце 1970-х годов ХХ века Минский представил концепцию, в соответствии с которой, человеческий интеллект не так уж сильно отличается от искусственного, как предполагалось до этого. В книге «Сообщество разума» Минский предлагает также теорию, что человеческий разум не имеет «центра управления», а, разумная мысль на самом деле — это собрание или «сообщество» индивидуальных бессмысленных «агентов». Минский создает метафору между человеческим мозгом и так называемыми «дебрями» этих агентов. В этом-то и заключается основная концепция дебрей разума в Опере Мозга и интерфейсов, таких как «поющее дерево», «говорящее дерево», «ритмическое дерево», «мелодические мольберты», «жестовые стены» — все эти ресурсы – не что иное как аккумуляцияразличных агентов, которые взаимодействуют с Опера Мозга через шесть различных интерфейсов.

Интерактивный раздел Оперы Мозга, названный «Дебри разума» или «Лобби» открылся в Джульярдском Мраморном вестибюле театра в июле 1996 года на первом фестивале Линкольн-центра. Он состоял из 29 инсталляций, управляемых мощностью 40 сетевых ПК и рабочих станций.

Во время действия в Опере Мозга эти интерактивные станции были открыты для широкой публики, которая могла изучать их и осваивать. Станции разделялись на пять основных типов, каждый из которых использовал различные методы распознавания жестов и мультимедиа – отображения. Некоторые из этих станций позволяли также управлять структурой звука, иные же, получали образцы голосов пользователей, а другие давали возможность параметрически манипулировать различными темами в Опере Мозга. Примерно по прошествии часа работы в «лобби» публику проводили в театральное пространство, где три музыканта исполняли аналогичные в стилистике композиции Оперы Мозга на множестве «гиперинструментов». Гиперинструменты Маховера представляют собой авторские разработки специальных инструментов, таких как гипервиолончель (Hypercello), гиперскрипка (Hyperviolin) или гиперсмычок (Hyperbow). Они предназначены для достаточно виртуозных музыкантов, в связи с чем нет необходимости изучать новые исполнительские техники и приемы, а их оригинальный внешний вид и дополнительные опции способны лишь улучшить исполнительские возможности.

Проект Brain Opera был сосредоточен на интеграции различных, часто не связанных между собой источников звука, происходивших от разных участников интерактивного процесса в вестибюле театра. Все это интегрировалось в единый коллективный художественный опыт, который, по сути своей, также является эммерджентным: то есть чем-то несоизмеримо большим, чем сумма всех его частей. Также и наш разум превращает фрагментированные переживания в рациональное мышление ^{[6, 308]}.

Через систему интерактивных инструментов вклад каждого из посетителей, воссоздавал новый облик музыкального произведения. Подобные аналогии с мыслительными процессами и тайнами человеческого мышления, были репрезентацией концепции пионера искусственного интеллекта Марвина Минского. Использование некоррелированного, и скорее даже стохастического участия аудитории (имитирующего нейронную стимуляцию) у Маховера, следовало теории Минского. Опера Мозга стремится к активному вовлечению неспециализированной аудитории в художественную среду, создавая новые возможности интерактивной музыки, которые до настоящего времени казались невозможными ^{[6, 309]}.

Опера Мозга как интерактивная инсталляция основывается на множестве различных инструментов и интерактивных станций, разработанных специально для этого проекта в лаборатории Массачусетского технологического университета. При этом, следует подчеркнуть, что этот проект ни в коем случае не являлся фиксированной, или же чисто экспериментальной инсталляцией: компоненты должны были работать во многих реальных средах и взаимодействовать с самыми различными людьми. В результате чего, технологии, созданные специально для этого проекта, продемонстрировали интуитивность, надежность и отсутствие чрезмерной чувствительности к изменению фоновых условий, шума и беспорядка.

Очевидно, что в Опере Мозга применялось множество различных громоздких приспособлений и установок, что не предполагало возможности ее представления вне специфически организованного пространства.

Далее перейдем к краткому описанию этих приспособлений, чтобы был понятен их принцип действия и получения информации для творческого поля Оперы Мозга.

Самыми простыми и многочисленными станциями в вестибюле театра были «говорящие деревья». Эти интерфейсы имели специально выделенный ПК, пару наушников, микрофон, цветной ЖК-экран и мышь Pro Point — портативное устройство, которое позволяло большому пальцу перемещаться по курсору, регулируя центр давления на вершине чувствительного к усилиям резистора, размером с кончик пальца. «Клики» по-прежнему определялись кнопкой, которая была установлена для возможности доступа к переключению с помощью указательного пальца. Переключатель был установлен под «ковриком» каждого говорящего дерева. Когда слушатель заходил под это дерево, коврик закрывался, перекрывая порт ПК. Далее запускалась последовательность Macro Mind Director, с видеоклипами Минского, чье «Общество разума» вдохновило как либретто, так и общую концепцию Оперы Мозга. На протяжении всего «диалога» появляющееся на мониторе изображение Минского задавало пользователям несколько вопросов, а их ответы записывались и индексировались на ПК, а затем передавались по сети в «банк сэмплов» для воспроизведения их во время последующих выступлений. Всего насчитывалось около 15 говорящих деревьев. Хотя диалог с Минским представлялся посетителю, как интересным, так и забавным, это было лишь одним из возможных применений возможностей, которые были доступными пользователю на каждом из говорящих деревьев.

Аналогичными по конструкции являлись и «Поющие деревья». Не имея тактильного интерфейса, они реагируют исключительно на певческий голос, который анализируется на основании десяти динамических функций. Эти же параметры управляли и механизмом алгоритмической композиции, которая эффективно повторно синтезировала голос участника на синтезаторе Kurzweil K2500. «Поющие деревья» стремились к созданию единообразия как это происходит в певческом голосе; чем дольше взаимодействие с интерфейсом, тем более тоновым и «благозвучным» становился конечный результат вокального ресинтеза ^[6].

Производные факторы также использовались для управления воспроизведением анимации на ЖК-экране. В определенный момент появлялась балерина и начинала танцевать, а когда голос прерывался, анимация трансформировалась в набор более простых изображений. Взаимообратная связь визуального и звукового факторов – была очевидной. Звуковые и визуальные стимулы побуждали найти соответствующие звуки, побуждающие процесс визуализации. У Маховера было три поющих дерева, каждое из которых работало в различных последовательностях изображений.

Еще один интерфейс, применяемый в Опере Мозга, — это мелодический мольберт. Он представляет собой связанные в единую сеть мониторы, встраиваемые в подвесной «столик». Эти мониторы были оснащены сенсорными экранами, чувствительными к давлению (Intelli Touch от ELO Touch Systems). Пользователи управляли параметрической последовательностью, выполняя одно из заданий на тему Оперы Мозга, перемещая палец по экрану. Синтезированные голоса, созданные на сэмплере Kurzweil K2500 и синтезаторе Korg Prophecy, реагировали на