Noile instrumente audio ale Meta promit sunete mai naturale și localizabile în VR și AR

Noile instrumente audio ale Meta promit sunete mai naturale și localizabile în VR și AR, de la țipete îndepărtate până la șoapte în ureche.
Pe 7 februarie, Meta a adăugat capabilități audio captivante platformei sale proprietare Presence. Noul „XR Audio SDK” își propune să faciliteze pentru dezvoltatori integrarea audio spațială, localizabilă. În prezent, funcționează doar cu motorul Unity, care este utilizat pe scară largă în VR. Este planificat suport pentru Unreal Engine, Wwise și FMOD.
Platforma Prezență este un set de instrumente de dezvoltare și API-uri care permit experiențe de mână, voce și realitate augmentată cu Quest 2 și Quest Pro. O adăugare recentă în toamna anului 2022 este Motion SDK pentru urmărirea feței, a ochilor și a corpului. Platforma va fi lansată pentru prima dată în toamna anului 2021.
Aplicațiile pentru noi experiențe audio captivante includ realitatea virtuală, realitate augmentată și realitate mixtă. Pentru cel mai recent set de căști, Meta's Quest 2 și Quest Pro VR adaugă CGI la videoclipul camerei frontale. Pe lângă metadispozitive, noul SDK de sunet acceptă, de asemenea, „practic orice dispozitiv VR mobil de sine stătător”, precum și computer VR (cum ar fi Steam VR) și dispozitive terțe.
Noile caracteristici includ manevrarea îmbunătățită a efectelor de filtrare a capului, urechii externe și trunchiului, care pot afecta foarte mult sunetul real: funcția de transfer legat de cap (HRTF) este concepută pentru a simula cu acuratețe percepția sunetului real. Fără el, sunetele din mediul tău vor suna nenatural.
Modelarea acusticii camerei beneficiază de reflexiile și reverberațiile sunetului, care depind de dimensiunea camerei, forma și materialele de suprafață. Deci, dacă începi să joci un joc AR într-un birou gol, vocea inamicului virtual ar putea sări de pe pereți la fel ca a ta. Această uniformitate a sunetului este menită să sporească efectul prezenței.
Funcțiile Spatial Audio Rendering și Room Acoustics se bazează pe Oculus Spatializer anterior și vor continua să evolueze. Meta a spus pe blogul său pentru dezvoltatori că sistemul este mai potrivit pentru utilizarea VR decât sistemele audio încorporate ale motoarelor de jocuri populare care sunt concepute în principal pentru console și PC-uri.
Noul SDK audio oferă flexibilitate și ușurință în utilizare. Potrivit Meta, chiar și dezvoltatorii fără experiență audio pot mixa audio, ceea ce este esențial pentru imersiune.
De exemplu, Meta și-a arătat utilizarea biroului virtual și a aplicației de conferințe Horizon Workrooms pentru Quest 2 și Quest Pro la evenimentul Connect din octombrie 2022. O scenă la masa de negocieri în care vocile din diferite direcții sunt esențiale pentru o înțelegere comună credibilă.
Anteriorul Oculus Spatializer va continua să fie acceptat în Unreal Engine, FMOD sau Wwise și pentru cei care preferă propria soluție API. Meta nu recomandă în prezent actualizarea în aceste zone.
Pentru proiecte noi în Unity Engine, Meta recomandă utilizarea noului „XR Audio SDK” pentru a îmbunătăți întreținerea pe termen lung a aplicațiilor sau pentru a încerca funcții experimentale.
Instrucțiuni și exemple pot fi găsite în documentația oficială „XR Audio SDK” și în Meta Developer Center.
Notă: Link-urile către magazine online din articole pot fi așa-numitele link-uri afiliate. MIXED primește un comision de la vânzător dacă cumpărați prin acest link. Prețul rămâne același pentru tine.