«Черт возьми, надо мной пролетел гигантский жук»: релиз SDK для объемного звука

    Компания Google представила SDK Resonance Audio — инструментарий для звукового оформления игр, 360-градусных видео, VR и AR приложений.


    Это далеко не первая разработка компании в этой сфере. В январе 2016 года вышел Google Cardboard SDK с объемным звуком. Его доработанная версия вошла в VR-платформу Daydream 2.0, которая в данный момент открыта для сторонних разработчиков.

    Новинка под названием «Resonance Audio» объединяет наработки Google в этой области и позволяет реализовывать их на множестве платформ, в том числе мобильных.

    Ниже расскажем про особенности Resonance Audio.


    Фото Jennifer Boyer CC BY

    Что это дает


    • Эффект полноценного присутствия. Угол обзора человеческого зрения в среднем составляет 160-200 градусов, но с помощью возможностей слуха человек может сформировать для себя полный образ пространства. Синхронизировав виртуальное зрение и виртуальный звук, можно будет добиться большего эффекта присутствия в виртуальной реальности.

    • Экономное использование CPU. Здесь работает технология Ambisonics — 3D-версия Mid-Side записи. Если говорить простыми словами, она позволяет экономить вычислительные ресурсы в процессе «сведения» сотен виртуальных источников звука. Помимо этого, для Unity предусмотрена возможность предварительных вычислений эффекта реверберации в зависимости от акустических свойств виртуального окружения.

    • Кроссплатформенность. Resonance Audio работает на операционных системах Android, iOS, Windows, MacOS, Linux; на движках Unity и Unreal Engine; с аудиобиблиотекой FMOD; пакетом программ Wwise; цифровыми звуковыми рабочими станциями. Также Google предоставляет API для C/C++, Java и Objective-C.

    • Формирование сложных звуковых сред. С помощью SDK можно работать с рядом параметров, влияющих на пространственное восприятие звуков. Например, задавать направление распространения звуковой волны. Разработчики приводят ситуацию с источником звука в виде виртуальной гитары: она будет звучать громче, если ваш игровой персонаж будет стоять перед ней и тише, если за ней.

    Помимо этого SDK предусматривает различное восприятие звука в зависимости от окружающих условий (например, в открытом и замкнутом пространстве). За счет использования данных возможностей разработчики смогут создавать более реалистичные сцены.

    Как работает Resonance Audio


    Технология позволяет задать положение источника звука вместе с характером его распространения и имитирует взаимодействие звуковых волн с виртуальными предметами. Для этого Resonance Audio вводит три вида составляющих общего восприятия того или иного звукового воздействия.

    • Прямой звук — идет от источника к слушателю напрямую без взаимодействия с препятствиями. Он обладает наибольшей интенсивностью по сравнению с другими составляющими и затихает по мере отдаления от источника.

    • Первичные отражения от поверхностей — имеют меньшую интенсивность, которая зависит в том числе и от свойств поверхности. Они позволяют оценить размер и форму виртуального пространства.

    • Далее следуют вторичные и последующие отражения, которые прибывают с возрастающей плотностью и накладываются на прямой звук. По ним строится более полная картина окружающего пространства.

    Как подчеркивает Крис Хэгстром (Chris Hegstrom), саунд-дизайнер Microsoft HoloLens, звуковую информацию человеческий мозг обрабатывает быстрее, чем зрительную. Инстинкт самосохранения приучил человека определять дистанцию до источника звука, и на этом принципе построен процесс формирования эффекта присутствия, за который во многом отвечает как раз аудиосоставляющая:

    Эффект присутствия — это разница между «Вау, в этой игре очень крутая анимация огромного жука» и «Черт возьми, надо мной пролетел гигантский жук!»

    С помощью возможностей Resonance Audio (видео) человек, погруженный в виртуальный мир, формирует своеобразную «карту» пространства, в котором он находится. И приблизительное местоположение объектов, которые он не может увидеть, человек определяет как раз с помощью слуха.

    Что еще нужно знать


    Значимость работы над технологиями объемного звука подтверждают эксперименты, один из которых провела компания G’Audio Lab. Людям предоставили две демонстрационные версии игры — одну с объемным звуком, а другую с обычным. После завершения игрового процесса, респонденты открыто говорили о том, что даже и не думали, что звук может внести такую большую разницу в ощущения от игрового процесса.

    Джоел Сусал (Joel Susal), глава подразделения Dolby, которое занимается виртуальной и дополненной реальностью, напоминает, что именно реалистичные звуковые эффекты вроде резкого скрипа двери или звука приближающихся шагов заставляют нас инстинктивно повернуть голову, чтобы увидеть источник звука и разобраться в том, что все-таки происходит. Технология объемного звука позволит обогатить игровой процесс VR-игр и расширить область взаимодействия с игровой средой.

    Объемный звук можно использовать не только в играх и фильмах, но и в музыкальных клипах, во время прямых VR-трансляций концертов и спортивных матчей, чтобы человек, находясь дома, чувствовал себя частью события. Объемный звук поможет ощутить то, что не так-то легко почувствовать даже в реальном мире — например, не просто пойти на концерт, а побыть прямо на сцене, рядом с любимым исполнителем.

    Другие материалы из нашего «Мира Hi-Fi»:

    Аудиомания 256,53
    Лидер рынка качественных решений для музыки и кино
    Поделиться публикацией
    Комментарии 18
    • +1
      Мне кажется, что основной игровой жанр для такой технологии — это exploration games. И я бы поиграл в какой-нибудь реворк Firewatch с таким звуком
      • 0
        Ну, ни что не мешает использовать технологию в любых FP играх. Да и для TP технология будет совсем не лишней.
        • 0
          FPS тоже от нее не проиграет, меня например немного напрягает, что на некоторых картах в CS:GO шаги воспринимаются так, как будто противник пробежал в 5 метрах, хотя между вами пол карты и пара бетонных стен.
        • 0
          а разве раньше такого не было? я что-то не понимаю, что именно новое изобрели?
          • 0
            Все уже было в Симпсонах. Здесь про релиз sdk, не столько про научные отрытия все-таки
            • 0
              X-Fi?
              • +1
                Aureal Vortex?
                • 0
                  Да, помню. Quake3 и карта Vortex с A3D.
                  Стоишь спиной к провалу и прямо этой спиной чувствуешь, как там гудит пламя. Пролетающая мимо уха ракета, кажется, шевелит волосы на голове.
                  А бегущего за стеной противника ты практически видишь по топоту сапог и можно стрелять на звук.
                  И всё это в простых наушниках.

                  А потом их выкупил Creative и всё закончилось. Формально в X-Fi даже вроде есть A3D, но не в одной игре такого объемного звука я больше не встречал.

                  Карточку так и не продал, лежит как память.
              • 0
                Просто еще один SDK для объемного звука, что, как никак, полезно. Судя по видео, действительно ничего нового прямо и некоторые недавние тайтлы подобное делали уже. Умных слов много, но результат не сильно отличается от того, что уже слышали.
              • +1

                Помню давным давно играл в игру, кажется она называлась снайпер. Там был жутко реалистичный звук падения патронов из барабана револьвера. В первый раз я рефлекторно заглянул под стол, думал упало что то

                • 0
                  «Черт возьми, надо мной пролетел гигантский жук»

                  «верх и низ» действительно реализованно? А то во многих играх я до сих пор не ориентируюсь. В Фаллоуте к примеру не поймешь, где ходят. Под тобой или над тобой. Многое теряется в восприятии от отсутсвия третьей координаты. Хотя у меня вообще то playstation 4 и старые наушники сони, с «surround sound» и «7.1». Может уже есть продвинутые аудиосистемы?
                  • 0
                    7.1. устарела. Вышла новая модификация 7.1 verkh-i-neez.
                    • 0
                      Верх и низ кое-как работает только в наушниках, на системах объемного звука если смотреть строго вперед этого не слышно от слова совсем.
                      • 0
                        Эта проблема решена в dolby atmos
                        • 0
                          Возможно, что проблема в наушниках. Когда взял себе Beyerdynamic Custom Studio вместо недорогих (порядка пары тысяч) Philips, то заметил серьёзное улучшение позиционирования (например, там субъективно весь звук перемещался в полусфере, находящейся передо мной, но не сзади).
                          • 0
                            Да нет, наушники хорошие, после них я не мог полноценно играть в call of duty, так как в обычных наушниках было только стерео. В этих же у меня полноценные 2 координаты. Могу точно определить направление, но только в одной плоскости. Звук по вертикальной оси, как я понял почитав в интернете, наушники не умеют еще, а тот же dolby atmos предлагают колонки либо вверх подвешивать, либо отражение от потолка использовать.
                            • 0
                              Я в своих слышу звук в трёх координатах. А верх/низ слышал даже в тех Филипсах. Не забывайте, что Dolby Atmos — это в первую очередь не про наушники. Но про Fallout и Call of Duty не скажу, так как не пробовал.
                        • 0
                          А можно этот SDK использовать на c#, но без Unity?

                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                          Самое читаемое