Die neuen Audio-Tools von Meta versprechen natürlichere und lokalisierbare Klänge in VR und AR, von entfernten Schreien bis hin zu Flüstern in Ihrem Ohr.
Am 7. Februar fügte Meta seiner proprietären Presence-Plattform immersive Audiofunktionen hinzu. Das neue „XR Audio SDK“ soll es Entwicklern erleichtern, räumliches, lokalisierbares Audio zu integrieren. Es funktioniert derzeit nur mit der Unity-Engine, die in VR weit verbreitet ist. Unterstützung für Unreal Engine, Wwise und FMOD ist geplant.
Die Presence Platform ist eine Reihe von Entwicklungstools und APIs, die Hand-, Sprach- und Augmented-Reality-Erlebnisse mit Quest 2 und Quest Pro ermöglichen. Eine neue Ergänzung im Herbst 2022 ist das Motion SDK für Gesichts-, Augen- und Körperverfolgung. Die Plattform wird erstmals im Herbst 2021 lanciert.
Zu den Anwendungen für neue immersive Audioerlebnisse gehören Virtual Reality, Augmented Reality und Mixed Reality. Für das neueste Headset fügen Metas Quest 2 und Quest Pro VR CGI zum Video der Frontkamera hinzu. Neben Metageräten unterstützt das neue Sound-SDK auch „praktisch jedes eigenständige mobile VR-Gerät“ sowie Computer-VR (wie Steam VR) und Geräte von Drittanbietern.
Zu den neuen Funktionen gehört eine verbesserte Handhabung von Kopf-, Außenohr- und Rumpffiltereffekten, die den echten Klang stark beeinflussen können: Die kopfbezogene Übertragungsfunktion (HRTF) wurde entwickelt, um die Wahrnehmung von echtem Klang genau zu simulieren. Ohne sie klingen die Geräusche in Ihrer Umgebung unnatürlich.
Die Modellierung der Raumakustik profitiert von Schallreflexionen und Nachhall, die von Raumgröße, Form und Oberflächenmaterialien abhängen. Wenn Sie also in einem leeren Büro anfangen, ein AR-Spiel zu spielen, könnte die Stimme des virtuellen Feindes genau wie Ihre eigene von den Wänden abprallen. Diese Gleichmäßigkeit des Klangs soll die Präsenzwirkung verstärken.
Die Funktionen Spatial Audio Rendering und Room Acoustics basieren auf dem vorherigen Oculus Spatializer und werden kontinuierlich weiterentwickelt. Meta sagte in seinem Entwicklerblog, dass das System besser für die VR-Nutzung geeignet sei als die eingebauten Audiosysteme populärer Game-Engines, die hauptsächlich für Konsolen und PCs entwickelt wurden.
Das neue Audio SDK bietet Flexibilität und Benutzerfreundlichkeit. Laut Meta können sogar Entwickler ohne Audioerfahrung Audio mischen, was für Immersion unerlässlich ist.
Beispielsweise zeigte Meta auf der Connect-Veranstaltung im Oktober 2022 die Verwendung der virtuellen Büro- und Konferenz-App von Horizon Workrooms für Quest 2 und Quest Pro. Eine Szene am Verhandlungstisch, in der Stimmen aus verschiedenen Richtungen für ein glaubwürdiges gemeinsames Verständnis entscheidend sind.
Der vorherige Oculus Spatializer wird weiterhin in Unreal Engine, FMOD oder Wwise unterstützt, und für diejenigen, die ihre eigene API-Lösung bevorzugen. Meta empfiehlt derzeit keine Aktualisierung in diesen Bereichen.
Für neue Projekte in Unity Engine empfiehlt Meta die Verwendung des neuen „XR Audio SDK“, um die langfristige App-Wartung zu verbessern oder experimentelle Funktionen auszuprobieren.
Anleitungen und Beispiele finden Sie in der offiziellen „XR Audio SDK“-Dokumentation und im Meta Developer Center.
Hinweis: Links zu Onlineshops in Artikeln können sogenannte Affiliate-Links sein. MIXED erhält eine Provision vom Verkäufer, wenn Sie über diesen Link kaufen. Der Preis bleibt für Sie gleich.
Postzeit: 13. Februar 2023