在過去的幾十年當中,人們一直透過 2D 螢幕來完成計算功能,無論是膝上型電腦、智慧手機,還是平板電腦、電視。實際上,使用 2D 媒介的歷史可以追溯到幾個世紀前,幾百年間人們都用紙張來記錄和傳遞資訊。
現在有了 XR 技術的加持,計算已經演進到了空間計算的階段。也就是說,傳統意義上的螢幕消失了,整個世界都成了你的「主屏」,而這一轉型剛剛開始。
在 2D 螢幕世界裡,高通代表著頂級的核心計算能力。在 XR 的世界裡,程式設計計算和處理需要在空間中進行。
過去,高通主要面向 OEM 裝置廠商提供 XR 核心技術和特性支援。而現在,伴隨著元宇宙的熱潮,高通需要開發者加入到 XR 應用的開發之列。
驍龍 Spaces XR 開發者平臺應運而生,並與今晚(11 月 9 日)正式推出。
驍龍 Spaces,移動應用開發者看過來
驍龍 Spaces 開發者平臺具有三個特點:
1、成熟的技術和創新
驍龍 Spaces 能夠為 AR 眼鏡提供豐富的特性,幫助開發者成功地打造空間體驗。這些特性包括:
- 環境理解特性:空間對映與空間網格、遮擋、平面探測、物體與影象識別和追蹤、本地錨點及其永續性、場景理解;
- 具備使用者理解能力的機器感知特性:定位追蹤、手勢識別。
其中,影象和物體識別和追蹤由 Wikitude 提供支援。
驍龍 Spaces 的開放性與生俱來。首先,它符合 OpenXR 標準,降低了開發者利用驍龍 Spaces 進行程式設計的門檻。
高通還與 Epic Games 和 Unity 在引擎方面展開合作,便於熟悉這類 3D 工具的開發者將應用遷移至驍龍 Spaces 平臺。
此外,驍龍 Spaces 能夠跨終端執行,OPPO、小米、聯想、Motorola 和 Niantic 等廠商都已經宣佈支援驍龍 Spaces 平臺。
高通還與移動運營商生態系統展開合作,積極推動 AR 發展。第一批支援驍龍 Spaces 的運營商合作伙伴包括 NTT DOCOMO、T-Mobile 和德國電信。
驍龍 Spaces 可助力開發者構建兩種型別的應用:第一類是為 AR 眼鏡建立的獨立 3D 應用,不依賴於手機應用;第二類為手機應用的 AR 擴充套件,即為現有的手機應用增加 AR 眼鏡的特性,帶來 2D 智慧手機螢幕和 3D 現實世界之間的統一多屏體驗。
驍龍 Spaces 提供穩健的資源庫。第一步是為 Epic Games 虛幻引擎和 Unity 提供了 SDK 支援,讓開發者能夠使用熟悉的 3D 工具進行創作。
高通還推出了「驍龍 Spaces 探路者計劃」,首批面向健身、桌面遊戲等應用開發領域,開發者可以提前獲得平臺技術、專案資助、硬體開發套件和聯合營銷與推廣支援。
高通 XR 十年回顧
高通深耕 XR 技術研發已有十餘年。
早在 2007 年,高通曾啟動了基於智慧手機的 AR 研究專案,而在 2014 年支援 ODG 推出了 AR 眼鏡產品。
在晶片層面,作為早期的過渡產品,高通驍龍 820、821、835、845 都曾針對 VR/AR 裝置和使用場景需要做過效能最佳化,在當時的多款裝置中執行。
不過將手機專用晶片用作 VR/AR 裝置之中,雖然能用,但也存在明顯的侷限。比如 VR/AR 裝置需要的頭手互動、眼球追蹤、區域性渲染功能,就很難在手機晶片上得到支援。
特別是在過去的三年時間裡,高通持續發展 XR 生態,與裝置商合力推動 AR 眼鏡產品形態的發展,變輕、變薄、變得更適合日常佩戴。
2018 年,高通攜手 Nreal 推出了首款與智慧手機相連線的 AR 眼鏡品類。
2019 年,AR 眼鏡繼續進化,具備了能夠在智慧眼鏡和智慧手機上進行分散式計算處理的能力,聯想 ThinkReality A3 就是該品類的代表。
比如,收購 Hins SAS 團隊和部分技術資產,及其全資子公司 Clay AIR,一家手部追蹤和手勢識別解決方案提供商,能夠支援開發者打造具備直觀、自然手部互動的互動體驗。
幾周前,高通完成了對 Wikitude 的收購。伴隨著驍龍 Spaces 的釋出,Wikitude 的兩項特性將成為平臺特性。同時,Wikitude 的開發者社群也轉型為驍龍 Spaces 開發者社群,其中,來自 180 多個國家和地區的 15 餘萬名註冊開發者,將利用平臺新特性,推動 AR 裝置的軟硬體開發。
兩代驍龍 XR 晶片持續為 OEM 裝置商提供動力
在 2018 年 5 月在聖克拉拉舉辦的 AWE 上,高通則正式推出了針對擴充套件現實打造的專用晶片平臺驍龍 XR1。集成了高通的異構計算架構,包括基於 ARM 的多核 CPU、向量處理器、GPU、AI 引擎。
核心特性為:
- 視覺:XR1 平臺支援 60dps 4K 影片解析度;顯示處理器支援包括 OpenGL、OpenCL、Vulkan 在內的圖形 API;還具備基於高階視覺處理功能的技術,如視覺慣性測距(VIO)等,在增強現實體驗中的使用者可以在虛擬世界中移動或與增強物件進行互動。
- 音訊:採用高通 3D 音訊套件、Aqstic 音訊技術和 aptX 音訊、藍芽播放功能,也可實現高保真音訊體驗以及始終線上的語音互動;與頭部相關的傳遞函式(HRTF)可使使用者的耳朵能夠合成感覺類似在空間中特定點的雙耳聲音。
- 互動:支援 3DoF、6DoF 頭部跟蹤和控制器功能,能夠讓使用者在虛擬世界中自由移動。
高通還就 XR1 平臺推出了 AR 眼鏡參考設計 Smart Viewers,可與高通多個晶片平臺相互打通。
> 延伸閱讀:高通推出首款專門用於 VR/AR 裝置的晶片 XR1
在 2019 年 12 月高通驍龍技術峰會上,在釋出手機旗艦晶片平臺驍龍 865、中高階晶片平臺 765/765G 之外,高通還發布了驍龍 XR 平臺的第二款產品 XR2,這也是全球首款支援 5G 的擴充套件顯示平臺。
XR2 支援七路並行攝像頭,擁有專用的計算機視覺處理器。相比 XR1,其 CPU、GPU 效能提升了 2 倍,影片頻寬提升 4 倍,解析度則提升 6 倍,AI 效能提升了 11 倍。
- 視覺:支援單眼 90fps 3K 解析度,同時也支援本地播放 120fps 4K、60fps 8K 360° 影片,視覺效果更為沉浸和逼真。
- 聲音:XR2 包含一個定製的始終線上、低功耗的 Qualcomm Hexagon DSP,支援如語音啟用和情境偵測等硬體加速特性,在沉浸於數字世界的同時,也能聽到物理世界的聲音。
- 互動:最高可支援 7 個並行攝像頭,進行高度精確地實時追蹤使用者的頭部、嘴唇和眼球,以及支援 26 點手部骨骼追蹤。計算機視覺可提供高效的場景理解和 3D 重建,能為使用者建立全新的虛擬環境。
並且有了 5G 的加持,XR2 能夠做到更低時延和超高資料速率傳輸。
目前,基於 XR1、XR2 平臺已有包括 Oculus、HTC、愛奇藝、影創、Pico、Rokid、Nreal 等在內的 50+ 款裝置釋出。
灣裡簡評
正如前文所述,以往高通都是直接推出硬體開發平臺與 OEM 硬體裝置廠商合作,而此次驍龍 Spaces 的推出則打破了慣例,高通開始向軟體開發者、尤其是原有 Android 手機生態的應用開發者張開懷抱。
高通的邏輯和以往任何一家試圖打造通用開發者平臺的廠商是一致的,即在新模式下,如果每一家 OEM 廠商都推出自己的開發平臺,對於開發者而言會很困難。
通用平臺將極大的推進跨平臺、跨裝置開發者開發或打造空間和 3D 體驗。
與此同時,高通繼續向 OEM 廠商提供支援,幫助他們建設 AR 應用的分發渠道。
對於現在部分 OEM 廠商推出的 AR 開發平臺,高通技術公司副總裁兼 XR 業務總經理司宏國(Hugo Swart)在採訪中進一步說明了驍龍 Spaces 開發平臺的差異性,即驍龍 Spaces 主要是面向 AR 眼鏡開發,而不僅僅是面向手機的 AR 應用開發。
據透露,驍龍 Spaces 預計將於 2022 年春季向開發者全面免費開放。
主筆:達達、周全 / 深圳灣
編輯:陳述 / 深圳灣