近日，美國專利商標局正式授予蘋果公司一項專利，該專利涉及AirPods Pro和其下一代頭戴式顯示器裝置（HMD）的雙耳音訊。更具體地說，這項專利向我們介紹了預測性頭部追蹤雙耳音訊。這方面的音訊可能會改變VR RPG遊戲、恐怖電影、動作片等的遊戲規則，它可以讓你直接進入角色的動作之中。
蘋果公司在其專利背景中指出，虛擬現實允許使用者體驗和/或與沉浸式人工環境互動，這樣使用者就會覺得自己彷彿身處該環境。例如，虛擬現實系統可以向用戶顯示立體場景，以創造一種深度的錯覺，計算機可以實時調整場景內容，以提供使用者在場景中移動的錯覺。
當用戶透過虛擬現實系統觀看影象時，使用者可能因此感覺到他們正從第一人稱視角在場景中移動。同樣，混合現實（MR）將計算機生成的資訊（稱為虛擬內容）與現實世界的影象或檢視相結合，能夠為現實世界增強效果，或者將現實世界物體的虛擬表現與三維（3D）虛擬世界的檢視相結合。
因此，虛擬現實的模擬環境和/或混合現實的混合環境可以被用來為多種應用提供互動的使用者體驗。為了使這些VR環境儘可能逼真，蘋果公司在空間音訊之外還設計了頭部追蹤雙耳音訊渲染，這可能改變音樂、高階遊戲和電影的遊戲規則。
蘋果公司的發明涵蓋了用於預測性頭部追蹤雙耳音訊渲染的方法和裝置的各種實施方案。專利所描述的音訊渲染系統和方法的實施方案可由移動多用途裝置實現，如智慧手機、PAD裝置和平板裝置，這些裝置透過無線技術（如藍芽）渲染和傳輸頭部追蹤的雙耳音訊到使用者佩戴的雙耳音訊裝置（如罩耳式耳機、AirPods Pro等）。
本實施例也可以在VR/AR系統中實現，該系統包括一個計算裝置（被稱為基站），該裝置透過無線技術將頭部追蹤的雙耳音訊渲染並傳輸到提供雙耳音訊輸出的頭戴式顯示器（HMD），或傳輸到與HMD一起使用的單獨的雙耳音訊裝置。
頭部追蹤雙耳音訊渲染是一種可用於包括但不限於VR/AR應用的技術，以建立虛擬音源，無論聽眾的實際方向/位置如何，這些音源在環境中都會顯得很穩定。
頭部追蹤雙耳音訊渲染方法可以渲染並輸出雙耳音訊流（包括左和右音訊通道）到耳機，以便聽者以空間音訊的方式聽到聲音。換句話說，聽眾聽到的聲音就像聲音來自現實世界中的準確距離和方向。
例如，系統可以透過耳機播放聲音，使聽者聽到的聲音來自他們左邊、右邊、正前方、後面或某個角度的虛擬音源。左邊和右邊音訊通道的某些方面（例如，電平、頻率、延遲、混響等）可以被削弱，以影響聲音的感知方向性和距離。
圖源：patentlyapple
蘋果公司的專利圖1A說明了使用雙耳音訊的iPhone和AirPods Pro的使用者，2A說明了使用雙耳音訊的未來頭戴式裝置（HMD）的VR遊戲；圖6B說明了雙耳音訊的不同之處，即它跟蹤使用者的頭部，從而使音訊隨使用者移動，好像它總是在使用者面前或者相對於使用者的頭部投射聲音。在VR模式下，這非常適合RPG型別的遊戲。
蘋果公司的專利圖8說明了在多個維度提供聲音的方向性。
圖源：patentlyapple
蘋果公司指出，雖然一般描述的實施方案中，渲染裝置可以渲染多個音訊流，耳機能夠選擇一個或多個音訊流以在一個維度（即水平維度）提供聲音的方向性，但實施方案可用於在多個維度提供聲音的方向性，例如提供方位角、仰角的聲音，以及表示平移運動的聲音。
例如，基站可以在水平維度的多個位置呈現音訊流，也可以在水平維度上方和/或下方呈現音訊流。
如圖8所示，基站可以在水平維度的A和B位置渲染音訊流，還可以在水平維度上方渲染音訊流C。
而在耳機上，可以根據最近的頭部追蹤資料選擇並播放最接近頭部實際位置和高度（或傾斜度）的音訊流，或者如果頭部的實際位置和傾斜度在音訊流之間，則混合兩個或多個音訊流。
例如，如果頭部位置處於或接近其中一個位置，耳機可以選擇A、B或C；如果頭部位置在A和B之間，可以混合A和B；如果頭部位置在A和C之間，可以混合A和C；如果頭部位置在B和C之間，可以混合B和C；或者如果頭部位置在中間某處，可以混合A、B和C。這樣做的目的是為了提供真實的音訊，使使用者處於中間的位置，而現在的遊戲玩家在玩第一人稱射擊遊戲時並沒有這種體驗。
如果蘋果的下一代音訊能夠實現它的承諾，那麼它肯定會改變蘋果頭顯裝置的遊戲規則。
欲瞭解更多細節，請查閱蘋果公司的授權專利11,202,164。
文章來源：VR陀螺
