虛擬現實的目標是將人完全沉浸在數字環境中，觸發他們在現實世界中會體驗到的相同型別的生理和心理反應。在虛擬現實（VR）術語中，這被稱為“臨場感”——一種精神狀態，在這種狀態下，人們回憶VR體驗時就好像它們真的發生過一樣。近年來，計算機圖形技術得到了顯著改進，觸覺或觸控VR技術的進步開始讓使用者感受到溫度、壓力和振動等感覺。然而，對於VR來說，要真正抓住一個人，動態的聲景至關重要。
VR聲音領域最重大的發展之一是“空間音訊”，它旨在模仿大腦在現實世界體驗中預期的音高、音量、混響級別和其他音訊線索。“透過聽覺，我們可以感知到我們看不到的周圍方向發生的事情，[例如]汽車輪胎在我們身後發出刺耳的聲音，並做出反應——跳開——而無需視覺輸入，”諾基亞技術公司音訊高階產品經理Kai Havukainen說，該公司正在為公司的一些裝置開發空間音訊技術。
Facebook旗下的Oculus VR音訊設計經理Tom Smurdon說，空間音訊允許VR程式設計師建立聲音可以來自任何方向的內容。“頭頂樹上有風聲，腳下有河流的水聲，現在有人坐在你旁邊，在你耳邊低語，”他說。“每個人都還在學習空間音訊有多麼強大。”
支援科學新聞
如果您喜歡這篇文章，請考慮透過以下方式支援我們屢獲殊榮的新聞事業： 訂閱。透過購買訂閱，您正在幫助確保未來能夠繼續講述關於塑造我們當今世界的發現和想法的具有影響力的故事。
變化的聲景
“空間音訊，在其最基本的形式中，模擬了我們在現實世界中感知聲音的方式，”聲音設計公司Yessian Music的首席創意官兼合夥人Brian Yessian說。“如果我們在一個房間裡，有人在我面前說話，我把頭轉向左邊，那麼我的右耳會聽到更多的聲音，而我的左耳會[聽到]更少，”他解釋道。“或者如果有什麼東西掉在我身後，我知道要回頭看，因為我們的聽覺感知到它實際上是在我身後。”空間音訊在VR中透過使用軟體演算法來實現這種效果，這些演算法操縱程式的聲波頻率，建立音訊級別，這些級別會根據使用者與虛擬物件的距離而變大或變小。當人左右移動頭部或虛擬物件自行移動時，聲音也會從一個耳機揚聲器轉移到另一個耳機揚聲器。
VR頭顯製造商已開始接受沉浸式聲景，以此作為提高虛擬體驗質量的一種方式。例如，新款諾基亞8智慧手機包含OZO音訊軟體，該軟體使用裝置上的多個麥克風來錄製影片，這些影片透過耳機收聽時具有環繞聲質量。空間聲音也是微軟新款Windows混合現實頭戴式顯示器的主要功能，該顯示器將於本月晚些時候上市銷售。混合現實本質上是VR和增強現實的混合體，它依靠攝像頭和其他感測器將數字物件整合到現實世界中，或將真實物件嵌入到虛擬世界中。
微軟已經生產一款名為HoloLens的帶有空間音訊的混合現實頭顯，但該裝置的目標使用者是軟體開發人員和企業使用者。HoloLens的價格也從3,000美元起，是面向消費者的混合現實頭顯價格的數倍。微軟還將空間音訊作為Windows 10的一部分，這意味著任何執行該版本作業系統的裝置都可以在使用耳機時播放動態聲音。新款Windows混合現實頭顯和HoloLens頭顯提供非常不同的使用者體驗。HoloLens具有透明顯示屏，可將生動的全息圖投射到現實世界環境中，並且是一臺完全獨立的計算機，允許使用者在不受電纜限制的情況下移動。新款混合現實頭顯插入PC，並具有類似於Oculus Rift和HTC Vive的不透明顯示屏。
微軟在研究了不同的耳朵形狀以及人腦透過內耳和外耳在三維空間中定位聲源的方式後，開發了其空間音訊演算法。目的是更好地瞭解它們如何影響人的聲音感知。“我們還在模擬音訊如何在環境中反彈和迴響方面做了很多工作，”微軟首席軟體工程主管Noel Cross說，他曾在HoloLens和新款混合現實裝置上工作。“不同大小的房間給人不同的舒適度，如果事情在[應該]聽起來的樣子方面不符合你的期望，你會本能地感到非常不舒服。”
Cross和他的團隊在設計微軟新款消費級頭顯的介面時考慮了這些經驗。當用戶戴上裝置時，他們不是向用戶展示開始選單或螢幕，而是從位於海邊懸崖上的虛擬房屋開始他們的體驗，在那裡他們可以自由地在其三個不同的樓層漫步。使用者與該設定的互動方式與他們在真實房屋的房間裡盯著圖片或電視螢幕的方式非常相似——為了使這一切有意義，Cross說開發人員必須將聲音元素調整到恰到好處。Oculus同樣讓使用者每次使用裝置時都從相同的位置開始——有點像VR主頁。
最佳聽音位置
Cross說，早期在“3D音訊”（空間音訊的前身）方面的努力非常有限，因為它們是為20世紀90年代的PC設計的。揚聲器通常位於電腦顯示器的兩側，如果使用者坐在“中間的最佳聽音區域”並且不移動，聲音就具有沉浸感，他說。“即使在早期的耳機體驗中，當你移動頭部時，聲音也不會鎖定在世界的上下文中，而是會相對於你的頭部保持固定，”Cross補充道。
考慮到人類天生就注意聲音，並本能地利用聲音來繪製周圍環境地圖、尋找興趣點和評估潛在危險，因此，空間音訊對於VR的用處怎麼強調都不過分。隨著虛擬環境在教育、培訓和醫療保健（包括透過虛擬現實暴露療法治療恐懼症和創傷）中走向主流，使用者將希望充分調動他們的感官。