Новые звуковые инструменты Meta обещают более естественные и локализуемые звуки в VR и AR, от далеких криков до шепота на ухо.
7 февраля Meta добавила возможности иммерсивного звука к своей собственной платформе Presence. Новый «XR Audio SDK» призван упростить разработчикам интеграцию пространственного локализуемого звука. В настоящее время он работает только с движком Unity, который широко используется в виртуальной реальности. Планируется поддержка Unreal Engine, Wwise и FMOD.
Платформа Presence — это набор инструментов разработки и API-интерфейсов, которые позволяют работать с руками, голосом и дополненной реальностью с помощью Quest 2 и Quest Pro. Недавнее дополнение осенью 2022 года — Motion SDK для отслеживания лица, глаз и тела. Платформа будет запущена впервые осенью 2021 года.
Приложения для новых иммерсивных звуковых впечатлений включают в себя виртуальную реальность, дополненную реальность и смешанную реальность. В последних гарнитурах Meta's Quest 2 и Quest Pro VR добавлена компьютерная графика к видео с фронтальной камеры. В дополнение к метаустройствам новый звуковой SDK также поддерживает «практически любое автономное мобильное устройство виртуальной реальности», а также компьютерную виртуальную реальность (например, Steam VR) и сторонние устройства.
Новые функции включают улучшенную обработку эффектов фильтрации головы, внешнего уха и туловища, которые могут сильно повлиять на реальный звук: передаточная функция, связанная с головой (HRTF), предназначена для точной имитации восприятия реального звука. Без него звуки в вашем окружении будут звучать неестественно.
Моделирование акустики помещения выигрывает от отражений и ревербераций звука, которые зависят от размера, формы и материалов поверхности помещения. Поэтому, если вы начнете играть в AR-игру в пустом офисе, голос виртуального врага может отражаться от стен так же, как и ваш собственный. Эта однородность звука призвана усилить эффект присутствия.
Функции Spatial Audio Rendering и Room Acoustics основаны на предыдущем Oculus Spatializer и будут продолжать развиваться. Meta заявила в своем блоге разработчиков, что система лучше подходит для использования в виртуальной реальности, чем встроенные аудиосистемы популярных игровых движков, которые в первую очередь предназначены для консолей и ПК.
Новый Audio SDK обеспечивает гибкость и простоту использования. Согласно Meta, даже разработчики, не имеющие опыта работы со звуком, могут микшировать звук, что необходимо для полного погружения.
Например, Meta продемонстрировала использование виртуального офиса Horizon Workrooms и приложения для проведения конференций для Quest 2 и Quest Pro на мероприятии Connect в октябре 2022 года. Сцена за столом переговоров, где голоса с разных сторон имеют решающее значение для достоверного общего понимания.
Предыдущий Oculus Spatializer по-прежнему будет поддерживаться в Unreal Engine, FMOD или Wwise, а также для тех, кто предпочитает собственное решение API. В настоящее время Meta не рекомендует обновлять эти области.
Для новых проектов в Unity Engine Meta рекомендует использовать новый «XR Audio SDK», чтобы улучшить долгосрочное обслуживание приложения или опробовать экспериментальные функции.
Инструкции и примеры можно найти в официальной документации «XR Audio SDK» и в Meta Developer Center.
Примечание: Ссылки на интернет-магазины в статьях могут быть так называемыми партнерскими ссылками. MIXED получает комиссию от продавца, если вы покупаете по этой ссылке. Цена остается прежней для вас.
Время публикации: 13 февраля 2023 г.