Les nouveaux outils audio de Meta promettent des sons plus naturels et localisables en VR et AR, des cris lointains aux chuchotements dans votre oreille.
Le 7 février, Meta a ajouté des capacités audio immersives à sa plateforme propriétaire Presence. Le nouveau "XR Audio SDK" vise à faciliter l'intégration de l'audio spatial et localisable par les développeurs. Il ne fonctionne actuellement qu'avec le moteur Unity, qui est largement utilisé en VR. La prise en charge d'Unreal Engine, Wwise et FMOD est prévue.
La plate-forme de présence est un ensemble d'outils de développement et d'API qui permettent des expériences manuelles, vocales et de réalité augmentée avec Quest 2 et Quest Pro. Un ajout récent à l'automne 2022 est le Motion SDK pour le suivi du visage, des yeux et du corps. La plateforme sera lancée pour la première fois à l'automne 2021.
Les applications pour de nouvelles expériences audio immersives incluent la réalité virtuelle, la réalité augmentée et la réalité mixte. Pour le dernier casque, Meta's Quest 2 et Quest Pro VR ajoutent CGI à la vidéo de la caméra frontale. En plus des métapériphériques, le nouveau SDK audio prend également en charge "pratiquement tous les appareils VR mobiles autonomes", ainsi que la VR informatique (comme Steam VR) et les appareils tiers.
Les nouvelles fonctionnalités incluent une gestion améliorée des effets de filtrage de la tête, de l'oreille externe et du torse qui peuvent grandement affecter le son réel : la fonction de transfert liée à la tête (HRTF) est conçue pour simuler avec précision la perception du son réel. Sans cela, les sons de votre environnement ne sembleront pas naturels.
La modélisation de l'acoustique d'une pièce bénéficie des réflexions et des réverbérations sonores, qui dépendent de la taille, de la forme et des matériaux de surface de la pièce. Donc, si vous commencez à jouer à un jeu AR dans un bureau vide, la voix de l'ennemi virtuel pourrait rebondir sur les murs, tout comme la vôtre. Cette uniformité du son est destinée à renforcer l'effet de présence.
Les fonctionnalités de rendu audio spatial et d'acoustique de la pièce sont basées sur l'ancien Oculus Spatializer et continueront d'évoluer. Meta a déclaré sur son blog de développeur que le système est mieux adapté à une utilisation VR que les systèmes audio intégrés des moteurs de jeu populaires qui sont principalement conçus pour les consoles et les PC.
Le nouveau SDK audio offre flexibilité et facilité d'utilisation. Selon Meta, même les développeurs sans expérience audio peuvent mixer l'audio, ce qui est essentiel pour l'immersion.
Par exemple, Meta a montré son utilisation du bureau virtuel Horizon Workrooms et de l'application de conférence pour Quest 2 et Quest Pro lors de l'événement Connect en octobre 2022. Une scène à la table des négociations où les voix de différentes directions sont essentielles à une compréhension commune crédible.
L'ancien Oculus Spatializer continuera d'être pris en charge dans Unreal Engine, FMOD ou Wwise, et pour ceux qui préfèrent leur propre solution API. Meta ne recommande pas actuellement la mise à jour dans ces domaines.
Pour les nouveaux projets dans Unity Engine, Meta recommande d'utiliser le nouveau "XR Audio SDK" pour améliorer la maintenance à long terme de l'application ou pour essayer des fonctionnalités expérimentales.
Des instructions et des exemples peuvent être trouvés dans la documentation officielle "XR Audio SDK" et dans le Meta Developer Center.
Remarque : les liens vers des boutiques en ligne dans les articles peuvent être des liens dits d'affiliation. MIXED reçoit une commission du vendeur si vous achetez via ce lien. Le prix reste le même pour vous.
Heure de publication : 13 février 2023