Google 開發者大會(GoogleDeveloper Summit),是 Google 面向開發者和科技愛好者展示最新產品和平臺的年度盛會。今年 Google 開發者大會以“Develop as One”為主題,分享了 Google 產品 ARCore 的最新發展和應用例項,讓我們看看都有哪些值得關注的內容。
融合虛擬與現實世界,超乎想象的創意體驗
ARCore 是 Google 為安卓手機 AR 應用開發者提供的增強現實開發平臺。從2017年釋出至今超過10億臺手機安裝了ARCore。為了能夠讓虛擬和現實世界更好地融合,ARCore 為開發者提供了圍繞著真實感、洞察力和非同步互動的所有基礎功能。透過用不同的方式結合這些功能,開發者能夠完成許多實用又有趣的AR應用。
01
真實感
我們的大腦透過環境的提示去感知一個物體是否真實,例如光照、遮擋、陰影等。ARCore真實感功能,可以在現實世界中放置一個虛擬物體,同時讓你感覺這個物體是真實存在的。
- 運動跟蹤
新的 ARCore 提高了運動追蹤的效能並且減少了CPU的佔用。核心功能運動跟蹤,使虛擬物可以待在指定的位置,而不是跟隨相機的運動而移動,來防止因虛擬物的漂移或抖動而讓我們覺得它不真實。這也減少了追蹤重置的情況,為開發者帶來更多便利。
- 全景光照資訊理解 HDR
360°全景光照資訊理解 HDR,能夠分析理解場景中的光,讓虛擬物體看起來像真實地融入當前場景中。
具體來說,光估測主要包括:定向高光;環境光反射,讓環境中的地板和椅子能夠對映在虛擬物體表面;精確的陰影;準確的亮度。
- 深度 API
ARcore去年就開發出深度API,利用單個相機就可以計算出場景的深度圖提供更加沉浸的體驗。
你的虛擬物體可以與真實世界互動,而不是像手機螢幕上的貼紙或濾鏡。
智慧遮擋,讓虛擬物體能夠與影片內的物品有正確的位置關係。
可以在場景中增加具有幾何感知的光照效果,使虛擬光源與真實物體互動、可以隱藏在物體之後,改變物體表面的光照。
02
洞察力
洞察力是裝置感知周圍物體,然後增強他們的能力。
- 即時放置
AR 應用的主要使用者體驗就是將一個虛擬物品放在桌面或者地面上,使用者需要先讓手機識別場景中的平面。但是使用者很多時候會在識別時出現障礙而導致操作不能繼續進行。即時放置功能可以讓使用者可以在沒有掃描平面之前就能夠放置虛擬物品,這樣可以提高放置成功率並減少放置時間。
- 增強影象API
讓你可以在一個特定的圖片上放置AR物體,讓2D圖片展現出3D效果,可以跟蹤圖片,即使圖片移動也可以準確放置虛擬物體。
- 增強面部API
增強面部 API 可以提供一個高質量的468個點的3D面部網格,可以根據需要將效果固定到需要的位置。
- 機器學習模型
可以將機器學習模型與AR結合,瞭解場景中的內容和識別物件,並採取相應的行動。可以使用這個識別功能就可以構建很多的體驗,如:一個檢視棋盤的類似程式,展示下一步的最佳行動;場景中顯示花朵時就顯示出蜜蜂和蝴蝶的照片過濾器;將真實世界的每盞燈都變成怪物的遊戲。
- 原始深度API
原始深度API (Raw Depth API)是此次大會發布上線的新功能,它能夠讓開發人員能夠訪問比標準API更詳細的點雲,使開發人員能夠構建更準確地測量、重建和互動應用程式。
有了新的原始深度 API 功能,AR 應用可以滿足更多實際需求。例如,PHORIA ARConnect 應用藉助提高了準確性的原始深度來生成更加準確地測量值;3D Live Scanner應用,它利用原始深度更豐富的3D分析資料,來執行物件和場景重構;經過改良的測量值和物理執行機制讓使用者可以透過 Jam3 AR Doodads 應用,在空間內設計 AR 版魯布·哥德堡機械裝置。
新的 Hit Test 功能,這是 AR 應用互動的基礎功能,允許使用者在物件場景的3D位置放置虛擬物品。以前,只有在檢測平面時才能執行放置操作,位置只限大的平滑表面,如圖中放置在地板上的綠色物體。現在,利用新的功能,即時在不平坦的表面上也可以提供更多結果,在圖中顯示的紅色物體在低質感區也能放置。
03
非同步互動
圍繞非同步互動構建的功能,能夠創造讓使用者跨空間跨時間跨平臺和彼此進行互動的AR體驗。
- 雲錨點
雲錨點功能可以使數字內容與真實世界疊加,並且建立任何人、任何時間都可以體驗的基於位置的跨平臺體驗。例如存在於特定地點的註釋,這些註釋在上一個檢視的人開始計算可以存在長達一年的時間。
- 錄製和回放API
新功能錄製和回放 API 可以錄製影片,透過 ARCore 回放,回放同時可以在影片中放置虛擬物品。
舉例來說,假設在一家電器商店,你想要知道面前的一臺顯示器是否適合放在你的辦公桌上,那麼你有幾個選擇,首先你可以大致記下電視的尺寸,然後回到辦公室看看大小是否合適;或者,可以透過 AR 技術,將一臺虛擬電視放到自己的桌子上,然後評估大小是否合適,這樣你可以不用買下電視也不用記錄任何資訊。但是,想要實現後一種方式,必須要回到辦公室,然後才能透過 AR 放下這臺虛擬電視。這就是 AR 的實時體驗,必須在特定的時間在特定地點才能進行 AR 的體驗。
通過錄制和回放 API 能夠消除 AR 體驗的實時要求,隨時隨地地體驗 AR。也就是說,當我想要購買顯示器想要確定大小時,我只需要從本地相機相簿開啟影片,使用回放功能在影片中放置虛擬顯示器來判斷它的大小是否合適。甚至,可以在這個影片中放置任意數量的不同虛擬物件。這就是錄製和回放 API 的強大之處,它能夠消除 AR 的時間、空間限制,讓你隨時隨地體驗 AR 。
對於開發者來說,錄製和回放 API 頗有益於縮短開發者的迭代時間,尤其是在跨多個地點進行測試的場景下;錄製和回放 API 也有助於減少開發團隊的人工測試工作量,不必為每個新功能建立自定義資料集,可以使用預先錄製的資料集減少所需的人工測試資源。
ST Telecom 的 Jump AR 應用運用錄製和回放 API 釋出了一個新功能,使用預先錄製的影片,使用者可以透過應用內AR內容,來建立和分享獨特、動態和差異化的內容。