Новите аудио инструменти на Meta обещават по-естествени и локализирани звуци във VR и AR

Новите аудио инструменти на Meta обещават по-естествени и локализирани звуци във VR и AR, от далечни писъци до шепот в ухото ви.
На 7 февруари Meta добави завладяващи аудио възможности към собствената си платформа Presence. Новият “XR Audio SDK” има за цел да улесни разработчиците при интегрирането на пространствено, локализирано аудио. В момента работи само с двигателя Unity, който се използва широко във VR. Планирана е поддръжка за Unreal Engine, Wwise и FMOD.
Платформата за присъствие е набор от инструменти за разработка и API, които позволяват изживяване с ръце, глас и разширена реалност с Quest 2 и Quest Pro. Скорошно допълнение през есента на 2022 г. е Motion SDK за проследяване на лица, очи и тяло. Платформата ще бъде пусната за първи път през есента на 2021 г.
Приложенията за нови завладяващи аудио изживявания включват виртуална реалност, добавена реалност и смесена реалност. За най-новите слушалки Quest 2 и Quest Pro VR на Meta добавят CGI към видеото на предната камера. В допълнение към метадаустройствата, новият звуков SDK също поддържа „практически всяко самостоятелно мобилно VR устройство“, както и компютърна VR (като Steam VR) и устройства на трети страни.
Новите функции включват подобрено боравене с ефектите на филтриране на главата, външното ухо и торса, които могат значително да повлияят на реалния звук: свързаната с главата трансферна функция (HRTF) е проектирана да симулира точно възприемането на реален звук. Без него звуците във вашата среда ще звучат неестествено.
Моделирането на акустиката на помещението се възползва от отраженията и реверберациите на звука, които зависят от размера, формата и повърхностните материали на помещението. Така че, ако започнете да играете AR игра в празен офис, гласът на виртуалния враг може да отскача от стените точно като вашия собствен. Тази еднородност на звука има за цел да засили ефекта на присъствие.
Функциите Spatial Audio Rendering и Room Acoustics са базирани на предишния Oculus Spatializer и ще продължат да се развиват. Meta каза в своя блог за разработчици, че системата е по-подходяща за използване във VR от вградените аудио системи на популярни двигатели за игри, които са предназначени предимно за конзоли и компютри.
Новият Audio SDK осигурява гъвкавост и лекота на използване. Според Meta дори разработчици без аудио опит могат да смесват аудио, което е от съществено значение за потапяне.
Например Meta показа използването на приложението за виртуален офис и конферентна връзка Horizon Workrooms за Quest 2 и Quest Pro на събитието Connect през октомври 2022 г. Сцена на масата за преговори, където гласове от различни посоки са от решаващо значение за надеждното общо разбиране.
Предишният Oculus Spatializer ще продължи да се поддържа в Unreal Engine, FMOD или Wwise и за тези, които предпочитат собствено API решение. В момента Meta не препоръчва актуализиране в тези области.
За нови проекти в Unity Engine Meta препоръчва използването на новия „XR Audio SDK“ за подобряване на дългосрочната поддръжка на приложението или за изпробване на експериментални функции.
Инструкции и примери могат да бъдат намерени в официалната документация на “XR Audio SDK” и в Meta Developer Center.
Забележка: Връзките към онлайн магазини в статиите може да са така наречените партньорски връзки. MIXED получава комисионна от продавача, ако купувате чрез тази връзка. Цената остава същата за вас.