Появление новых технологий, как правило, влечёт за собой качественные сдвиги в развитии искусства. Так, изобретение камеры-обскуры привело к появлению фотографии и впоследствии кинематографа, а создание фонографа Томасом Эдисоном стало предтечей современной звукозаписывающей индустрии.
По мнению медиахудожника и саунд-артиста Вадима Колосова, сегодня таким флагманом медиа-арта является виртуальная реальность (VR). И, если визуальная составляющая этой технологии уже прошла определенный путь, то звуку ещё предстоит добиться настоящей убедительности. Тем более, сфера применения 3D-звука постоянно расширяется – это не только кино и игры, но также помощь людям с ограниченными возможностями, звукотерапия и медиа-арт.
Наверняка вы знаете об этом либо очень мало, либо совсем ничего. Вадим рассказал об этапах развития 3D-звука и о том, что с ним ещё может произойти.
Источник: timeline.com
Моё знакомство с миром компьютеров началось в детстве, которое пришлось на начало 90-х. Всё началось с черной пустоты MS-DOS, более дружелюбного Norton Commander и невероятного Windows 3.11. Уже тогда я понимал, что в будущем нас ждёт киберпанк виртуальной реальности, умной техники и цифрового мира без границ.
Я до сих пор помню фрустрацию от невозможности свернуть с трассы компьютерной гоночной игры – было невероятно обидно от того, что нарисованные на горизонте кусты и деревья всегда оставались лишь декорацией. Вероятно, именно это детское желание заглянуть за горизонт и является причиной успеха проектов с условной свободой действия и открытым миром, будь то освоенный современными художниками артефакт двухтысячных Second Life, его наследник Minecraft или большие студийные игры вроде GTA V.
Виртуальная реальность живёт рядом с нами более тридцати лет. Но сегодня она пришла к нам уже по-настоящему. Сегодня технологии, необходимые для управления VR (компьютерные чипы, графика, технология дисплея, искусственный интеллект), стали намного быстрее и доступнее. Если несколько лет назад VR-гарнитура с 60 градусами обзора и низким (по современным меркам) разрешением, обошлась бы вам в 5 000, а Samsung Gear VR – и вовсе за 99$.
Источник: flickr
Как мы знаем, цель VR – создание альтернативной реальности. Но без правдоподобного аудиоряда, соответствующего ряду визуальному, мозг не поверит в иллюзию. Иммерсивной графике должен вторить захватывающий 3D-звук, который воспроизводит достоверный опыт прослушивания.
Это может быть интересно:
Необычные профессии: гримёр театра и кино
Для восприятия VR наши уши не менее важны, чем и глаза. Возможность услышать что-то в пространстве прежде, чем это увидеть, делает любую среду гораздо более убедительной. Только представьте: вы входите в комнату и слышите гул вентилятора над вами слева. Затем вы смотрите вверх и действительно видите его. Позиционное аудио усиливает чувство присутствия и повышает уровень погружения.
Динамический 3D-звук привносит в мир VR ту степень интеракции, которую обычный стереозвук просто не способен дать. На нынешний момент существуют две основные парадигмы, позволяющие достичь эффекта полного звукового погружения – бинауральная и многоканальная. Каждая из них имеет свою историю и сферу применения, о которых я сейчас и расскажу.
Что такое бинауральный звук и в чём его сила?
В 1930-х годах английский инженер Алан Блюмлейн создал революционное изобретение –стереофонию, масштабы которого стали очевидны лишь со временем. Как-то Блюмлейн со своей женой пришёл на сеанс в местный кинотеатр. Молодой учёный был возмущен фактом несоответствия расположения героя на экране и источника звука: звук в то время воспроизводила небольшая система с одним динамиком.
Изобретатель выбежал из кинотеатра, заявив своей супруге, что он придумал способ положить конец этому безобразию. Так родилась концепция стереофонического звука, однако сам Блюмлейн называл его бинауаральным, заложив тем самым традицию путаницы стерео- и бинаурального звука.
На самом деле, бинауральный звук не имеет никакого отношения к стереозвуку, и вот почему.
Бинауаральная запись может воспроизводиться только в наушниках, минуя ушные раковины и встречая как можно меньше сопротивления в ушном канале. В этом смысле стереозвук и бинауаральный звук являются диаметрально противоположными явлениями.
Примечательно, что первые настоящие бинауральные эксперименты происходили задолго до стерео Блюмлайна, и были намного ближе к виртуальной реальности, чем мы могли бы подумать.
Источник: gigglehd.com
В 1881 парижской публике было представлено новое технологическое развлечение, называвшееся «Театрофон». В Опера Гарнье вокруг сцены были установлены угольные микрофоны (по сути, телефонные трубки), подключенные к телефонным линиям подписчиков, для которых были выпущены специальные прообразы наушников – два небольших угольных динамика.
Можно предположить, что качество передачи сигнала было крайне скверным: если с передачей голоса (или, скорее, устной речи) угольные микрофоны и динамики могли справиться, то заменить прослушивание симфонической музыки ценителями это однозначно не могло. Достаточно быстро интерес аудитории к изобретению угас.
На сорок лет технология была забыта, пока в 20-х годах двадцатого века радиостанция штата Коннектикут не запустила бинауаральное вещание. Для этого в студии расположили манекен с двумя микрофонами на месте ушных каналов – такая технология позволяла максимально точно передавать бинауральный звук. Поскольку в то время радиостанции работали в режиме моно, то сигнал приходилось отправлять на двух частотах. А конечному приходилось настраивать два радиоприемника на разные частоты и прикладывать по одному наушнику от каждого.
Источник: tecnovortex.com
И, хотя эту технологию подхватили немецкие и японские радиостанции, в силу дороговизны оборудования и необходимости наушников для правильного воспроизведения, этот формат к моменту создания стереорадио был забыт.
Забавный факт: до появления кассетного плеера Sony Walkman большинство потребителей считало наушники неудобством, и было заинтересовано только в записях, которые можно прослушать на домашней стереосистеме или в автомобиле. Примечательно, что первый коммерческий бинауаральный поп-альбом – Street Hassle от Лу Рида, сочетавший концертную и студийную запись, вышел только в 1978 году.
В наши же дни бинауральный звук переживает возрождение. Во многом это происходит благодаря широкой доступности наушников и недорогих способов записи. Сегодня сообщества любителей бинаурального звука создают свои библиотеки по обмену записями, а несколько лет назад интернет всколыхнула волна популярности ASMR-видео.
Это может быть интересно:
Необычные профессии: историк моды
Природа феномена ASMR остается неясной и пока не имеет общепринятого научного объяснения. Преподаватель Шеффилдского университета, Том Стаффорд, отмечает: «Вполне возможно, что это явление действительно существует, однако по своей природе оно трудно поддаётся изучению».
Несмотря на малоизвестность феномена в научных кругах, множество людей ежедневно смотрят большое количество ASMR-контента на YouTube, где за несколько последних лет сложилось и постоянно продолжает расти масштабное и устойчивое сообщество людей, производящих и потребляющих такой контент. По словам зрителей таких видео, от просмотра они получают эффект своеобразного наслаждения, эти видео помогают им справиться с тревогой, паническими атаками, расслабиться и заснуть.
Dolby Surround или «добавьте больше динамиков»
После того как первые эксперименты с бинауральным звуком были временно забыты, воспроизведение звука пошло по пути вынесения виртуальности в физическое, а именно – по пути использования динамиков. Постепенно экспериментаторы стали наращивать их количество, чтобы увеличить объём воображаемого пространства и добиться максимального эффекта погружения.
Первое задокументированное использование «звука вокруг» состоялось в 1940 году, в анимационном фильме студии Диснея «Fantasia». Уолт Дисней был настолько вдохновлен произведением Николая Римского-Корсакова «Полёт шмеля», что захотел воссоздать звук полета через всё пространство зала. Первоначальная многоканальная аудиосистема называлась «Fantasound» и состояла из трёх звуковых каналов. Звук был рассеян по залу при помощи 54 динамиков и контролировался инженером; при этом объёмное звучание достигалось с помощью суммы и разности фаз звука. К сожалению, этот эксперимент не повторялся в последующих показах. Но в 1952 году обновленный «объёмный звук», представленный уже в дискретном семиканальном формате, вновь вернулся в кино. Так фильм «Это – Синерама» положил начало гонке технологий воспроизведения многоканального звука.
Источник: jasonweinberger.com
Первым носителем для 4-канального звука стала магнитная лента, которую в 1950-х годах стал использовать в своей электронно-музыкальной студии Карлхайнц Штокхаузен (впоследствии он записал в этом формате одно из своих известнейших произведений – «Контакт»). Далее, в 1957, американский звуковой художник Генри Якобс, работая с художником Иорданом Белсоном, создал «Vortex: Experiments in Sound and Light» – серию четырёхканальных концертов, где звучали произведения Штокхаузена, Кейджа и других, и представил его в Планетарии Моррисона в Golden Gate Park (Сан-Франциско).
Этот исторический момент саунд-дизайнеры обычно рассматривают как рождение концепта «объёмный звук» (позже ставшего стандартом). Программа была настолько популярной, что Якобс и Белсон были в 1958 году приглашены на World Expo в Брюсселе. Программа была представлена в уникальном павильоне Philips, разработанном Ле Корбюзье и Янисом Ксенакисом. Особенностью павильона был пространственный звук с 425 динамиками, которые использовались для перемещения звука по всему помещению. В этом уникальном пространстве также было исполнено произведение Эдгара Вареза “Poème électronique”.
Добиться соответствующего эффекта группе позволила сделанная на заказ квадрофоническая акустическая система. Сегодня контроллер «Азимут Координатор» выставлен в музее Виктории и Альберта в Лондоне.
Это может быть интересно:
Образовательные игры для Oculus Rift от российской студии Nival
В 1978 концепция, разработанная Максом Беллом для Dolby Laboratories под названием «split surround», была протестирована в фильме «Супермен». А после этого вышла 70-мм surround-версия ленты «Апокалипсис сегодня» Ф. Копполы. Она стала одним из первых официальных релизов в кинотеатрах с системой-прототипом 5.1, – тремя каналами в передней и двумя в задней части зала. Звуковая система представляла собой следующее: позади экрана находились пять динамиков, при этом только левый, правый и центральный были полночастотными, в то время как два центральных были использованы как сабвуферы. Этот формат был также использован в 1982 году при показе фильма «Бегущий по лезвию бритвы».
При этом современная версия объёмного звука 5.1 возникла только в 1987 году в известном французском кабаре Мулен Руж. Французский инженер Доминик Бертран (ранее представивший систему 3.1 в 1974 год на Международном cаммите франкоязычных государств в Дакаре) использовал микшерный пульт, специально разработанный в сотрудничестве с Solid State Logic, основанный на серии 5000.
Сейчас нам доступны и упрощённые системы – квадрофоническая система 4.0, и более сложные, такие как 7.1 и 9.1. За годы экспериментов были опробованы всевозможные комбинации – от трёх до шестидесяти четырех динамиков, каждый из которых выдавал свой звуковой канал (Dolby Atmos). Но самой популярной так и осталась система 5.1, которая обосновалась и в личных пространствах – так называемых домашних кинотеатрах.
Источник: iannis-xenakis.org
Каждому по своей виртуальной реальности
Сегодня, когда виртуальная реальность готова хлынуть к нам с экранов компьютеров, смартфонов и прочих индивидуальных устройств, многие инженеры и учёные делают ставку именно на развитие бинауральной, а не многоканальной парадигмы.
В чём сильные и слабые стороны бинаурального звука?
Одним из основных параметров здесь является расстояние: ухо, расположенное к источнику ближе, улавливает звуковые волны раньше; тогда как до второго уха сигнал приходит с определённой задержкой во времени. После этого в уши приходят отражённые от поверхностей звуки, позволяющие понять объём и форму пространства вокруг.
Но не только расстояние имеет значение. Звуки, которые взаимодействуют с задней поверхностью тела слушателя, воспринимаются иначе, чем те, которые «приходят» спереди. Резонируя с той или иной частью тела, звуки окрашиваются определённым образом, что позволяет мозгу определять источники звуков.
Это может быть интересно:
Magic Leap — прорывная технология дополненной реальности
Чтобы адаптировать исходный пространственный звук для бинаурального эффекта, необходимо знать, как торс слушателя, его голова, и ушная раковина изменяют входящие звуковые волны в зависимости от положения источника звука. Эта информация может быть получена путем расположения микрофонов на голове манекена или измерения звуковых параметров для конкретного человека. Результаты таких измерений называют HRTF (head-related transfer functions) – «связанные с головой функции». На практике HRTF сильно разнится между слушателями, особенно на высоких частотах. Большой статистический разброс в HRTF является одной из основных проблем при воспроизведении виртуального звука через наушники.
При этом наушники дают хороший контроль над воспроизводимостью звука. Там нет посторонних шумов как при прослушивании через динамики: каждое ухо получает лишь свой сигнал, а акустическая среда не изменяет воспроизводимый звук (так как нет отражений от поверхностей комнаты). К сожалению, при использовании наушников виртуальный образ часто воспринимается как слишком близко расположенный к слушателю. Этого эффекта особенно трудно избежать при размещении виртуального изображения непосредственно перед слушателем. Чтобы этого не случалось, необходимо адаптировать сигнал не только для персонального HRTF слушателя, но и для частотных характеристик наушников, используемых для воспроизведения.
Параметры HRTF конкретного человека являются эквивалентом отпечатков пальцев – они уникальны, и это одна из причин, почему использование манекена для бинауральной записи не всегда имеет одинаковый положительный эффект для всех. Для решения этой проблемы учёные экспериментируют с разными способами измерения, чтобы мозг мог локализовать смоделированные звуки безукоризненно точно.
Источник: binauralrecording.wordpress.com
До сих пор стандартом определения параметров HRTF являлась следующая технология: в ухе размещался миниатюрный микрофон, затем в пространстве проигрывались тестовые сигналы. Но полученных данных было недостаточно для полной симуляции. Чтобы получить более развёрнутые данные, было необходимо слишком много комбинаций пространств и расстояний. Как вы можете себе представить, этот метод крайне трудоёмок и утомителен. Но VisiSonics, звуковой стартап, стоящий за Oculus Rift, нашёл решение: поменять местами динамики с микрофонами.
В исследовательской лаборатории компании в Университете штата Мэриленд есть звуковая комната, покрытая 256 крошечными дискообразными микрофонами. Исследователи помещали динамики наушникобразной формы внутрь уха субъекта и воспроизводили спектральный тестовый тон, подобный звуку птиц. «Щебетание» попадало в массив микрофонов, фиксируя изменения звука. Таким образом, запатентованная технология VisiSonics способна снимать все импульсы одновременно, позволяя сохранить уникальный звуковой отпечаток человека в течение нескольких секунд. Генеральный директор компании Грегг Уилкс верит, что благодаря его стартапу идеальный виртуальный звук завтра войдет в каждый дом: «Можно сегодня измерить ваш HRTF в лаборатории, а завтра мы хотим установить такую будку в каждом супермаркете электроники».
Таким образом, идеальный 3D-звук можно создать только персонифицировано – словно очки по рецепту. В отличие от стереозвука, разработанного, чтобы оставаться «в ловушке» наушников, персонализированный бинауральный звук воспринимается как расположенный далеко за пределами вашей головы. Вы просто забываете, что у вас есть гарнитура.
А как же контент?
Виртуальная реальность позволяет создать единое пространство, в котором динамически рассчитывается положение виртуальных источников и микрофонов. При этом полученный результат может транслироваться как в бинауральном формате, так и в любых многоканальных конфигурациях (с учётом калибровки расстояния реальных динамиков).
Современные игровые 3D-движки, такие как Unity или Unreal Engine, предлагают разнообразные наборы инструментов для создания 3D-звука. Обычно это алгоритмы пространства и виртуальных микрофонов, которые передают звук вокруг игрока, исходя из его расположения, направления взгляда и прочих параметров. К примеру, если в сцене задействована птица, для которой разработчики придумали конкретный звук, её пение будет максимально громким при значении параметра «дистанция» равным нулю. По мере увеличения расстояния громкость будет снижаться, частотная характеристика также будет изменяться, будет появляться больше отражений. Причём параметры будут зависеть как от передвижения игрока, так и от передвижения птицы. В приведённом примере разработчики предлагают использовать два виртуальных микрофона для стерео- и бинаурального звука (в зависимости от формата будет меняться и их расположение) или большее их количество для многоканального звука.
Источник: gamespot.com
В VR есть ряд проблем, над которыми ещё предстоит работать. Так, на сегодняшний день отсутствует единый стандарт как оборудования (гарнитуры, наушников), так и программного обеспечения (плееров, кодеков). Более того, требуется немалый ресурс, необходимый для просчёта аудио в реальном времени. Особенно это критично для восприятия динамичных сцен (что часто удаётся обходить разработчикам, выбирая медленный медитативный стиль повествования).
На данный момент всё упирается в количество мощных телефонов, которые смогут обрабатывать сложную иммерсивную графику и аудиосигнал. Так, Oculus и HTC Vive уже создали подходящие устройства, но по моему мнению, основной движущей силой превращения VR в технологию для всех всё же станет Sony. Я предвижу день, когда устройство Sony VR поступит в широкую продажу, и буквально каждый ребенок захочет пользоваться им. Постепенно технология завоюет и их родителей – я знаю, о чём говорю, потому что видел неописуемый восторг людей, когда они впервые пробовали VR.
Самое основное, на мой взгляд, – необходимость разработки новых эстетических приемов. Впереди нас ждёт появление принципиально новых креативных профессий – пространственный саунд-дизайнер, интерактивный композитор, специалист по динамическому сведению и мастерингу и другие. Индустрия создала технологию, теперь самое время создавать контент, который поможет продемонстрировать её возможности.
Источник: notey.com
Среди нас есть много энергичных и талантливых художников, композиторов, предпринимателей и исследователей с огромным опытом, которые могут внести вклад в развитие этой технологии. Я считаю, что в пределах от 5 до 10 лет VR действительно будет в каждом доме. Виртуальная реальность пришла, чтобы остаться с нами, и у нас всех есть шанс стать пионерами нового нефизического пространства.
