幾個月前青亭網曾報道，在NFL棒球比賽上，人們使用AR效果的黑豹吉祥物為運動員加油打氣。從影片效果來看，體積龐大的AR黑豹極具動感，其面板紋理以及和物理場景的互動十分逼真，就好像真的有一隻巨型黑豹闖入體育場一樣。
從這樣的案例可以看出，令人信服的AR更能為觀眾帶來沉浸、震撼的感受。這是因為，AR遊戲中的角色是三維的，其互動和視覺變化也需要具有空間感，甚至與真實場景的互動也要模擬物理特性。
而營造這種逼真感，則需要從多方面模仿現實，比如：根據環境光動態變化的光影、與真實環境產生自然的物理互動、足夠細節的紋理，以及保真的動作還原等等。而實際上，為了不斷提升AR的逼真感，微軟、谷歌、Niantic等公司一直在探索，包括基於實時場景掃描、目標識別的動態遮擋渲染，或是陰影、物理互動等視覺提示。對於AR開發者來講，從多方面提升AR的可信度也有助於最佳化使用者體驗感。
自從《精靈寶可夢Go》讓AR遊戲走進大眾視野後，市面上陸續出現越來越多的AR遊戲、AR應用，同時AR視覺和互動的效果也在不斷提升。與傳統的2D遊戲相比，AR最大的特點是將虛擬內容與真實場景結合，而為了確保AR的虛實融合效果，開發者們將需要解決一系列全新的挑戰，比如：如何設計以360°圍繞玩家存在的沉浸式遊戲體驗？如何將空間內的障礙物因素考慮在內？AR如何對真實場景的光線和顏色產生反應？
對此，從早期就進入AR/VR行業的遊戲工作室Resolution Games在開發過程中也總結了許多經驗。近期其AR技術總監Magnus Runesson分享了AR移動遊戲的一些開發建議，他表示：從AR遊戲形式剛出現，我就已經參與相關開發，而且為大部分AR裝置開發過AR遊戲。經過這些年積累，Runesson認為提升AR的沉浸感需要從幾個關鍵方面入手：
- 1）陰影；
- 2）跟隨自然光線動態渲染；
- 3）調整真實空間的色調；
- 4）增強現實場景；
- 5）利用粒子大小的AR來營造空間感；
- 6）現實世界中充滿“障礙”。
關於陰影
不管是靜態還是動態的AR物件，都可以透過環境遮擋效果來提升逼真感，除了直接的遮擋效果，AR的虛擬陰影也可以與物理環境相互作用。
Runesson表示：每個藝術家都應該明白，在開發虛擬世界/空間時，正確渲染陰影是提升可信度的關鍵。那麼在開發AR遊戲時，空間中的環境光又會對AR物體的陰影造成哪些影響呢？
首先，開發者需要考慮AR虛擬陰影與環境之間的遮擋關係，也就是說AR物體在接觸物理表面時，需要同時產生從AR底部開始延伸的虛擬陰影，這個陰影將跟隨AR物體，並與物理表面自然融合。
通常，開發者們會在場景中烘焙完整的環境光線，因此在環境中移動的物理目標可以自動實現光影渲染。而為了渲染靜態物體的陰影，《憤怒的小鳥AR：豬島》的開發者們會在AR周圍構建幾何框架（也被稱為空間遮擋外邊），以調整AR的環境遮擋效果。而對於動態AR，開發者則選擇在AR所在的平面上繪製垂直的座標系，來定位環境遮擋時產生的虛擬陰影，利用座標系來定位陰影的好處是，可以逐步控制陰影的自然變化，AR底部的陰影最深，而向外延伸的部分則越來越淺。
關於自然光線提示
在開發遊戲過程中，光線/亮度與陰影同樣重要，對於AR遊戲來講更是如此。為了提升在真實空間中的自然感，AR內容需要根據實際的環境光線來動態調整自身亮度。也就是說，你在不同亮度的房間中玩《憤怒的小鳥AR：豬島》，將感受到不同的視覺體驗，亮度、陰影都有變化。
Runesson表示：《憤怒的小鳥AR：豬島》利用兩種光源來渲染：定向光和環境光。此外，還會根據移動裝置預測的環境光溫來調整光線的顏色。
在渲染AR亮度時，開發者們可以採用這樣一種技巧，利用ARKit生成的環境紋理來控制場景的亮度，尤其是讓AR的顏色具有根據環境而變化的反光感，避免出現不自然的色塊而讓AR難以融入環境。
不過Runesson指出，動態變化的AR亮度只能適應普通的光線環境，在一些極端明亮或陰暗的環境中，動態光影渲染的效果可能不夠明顯。
用AR來調整環境色調
如果說AR遊戲玩家所在空間的光線不可控制，那麼用AR濾鏡來調整攝像頭捕捉到的環境影片，相對來講會讓光線環境更加可控，而且與AR的色彩更好的融合。此外，透過AR來調整場景的色調，也有望進一步增強AR遊戲的沉浸感。
簡單來講，就是用AR給攝像頭捕捉到的場景染色，類似於拍照、拍影片時常用的濾鏡功能。對於不同型別的AR內容，也可以透過調整場景的色調來烘托主題。
就拿《憤怒的小鳥AR：豬島》來講，在一年四季不同的關卡主題中，關卡的背景色調並不相同，冬季、秋季採用冷色調，而春季、夏季會更加暖色調。
關於增強現實世界
為了進一步拉近AR與真實環境的視覺關係，AR不僅對環境光產生反饋，也可以透過冰塊等虛擬的透光表面來對映、折射周圍的環境。比如在《憤怒的小鳥AR：豬島》中，你甚至可以透過冰塊搭建的AR城堡看到背面的植物，根據折射原理模擬的效果看起來足夠自然。
Runesson表示：要想實現這樣的效果，開發者可以將攝像頭捕捉到的實時影片影象作為AR的背景，然後在透光的物件上疊加渲染緩衝區作為紋理，並利用緩衝區的紋理來調整AR物體的折射色彩變化。
他補充：AR的意義不僅僅是將虛擬影象融入到真實環境中，它還能夠改變真實環境的觀感，進而提升整個體驗的沉浸感。
用粒子線索營造空間感
如果可以在物理空間中佈滿3D虛擬場景，那麼人們可能更容易感知這種AR與空間的關係，然而完全沉浸的3D場景是VR而不算做AR。對於《憤怒的小鳥AR：豬島》來講，它的遊戲內容主要集中在豬城堡的3D模型上，並不會佔據玩家周圍全部空間。那麼，如何讓攝像頭內的AR內容與攝像頭沒有捕捉到的真實環境聯絡起來呢？
Runesson認為，可以透過雪花、星辰等粒子大小的特效來進一步拉近AR與空間的關係。一方面，粒子大小的AR與物理環境產生互動時，本身具有一種空間感，另一方面，當AR粒子離開攝像頭邊框時，也產生一種好像走進現實的錯覺。
他發現，AR粒子元素將對玩家體驗產生直接影響，你甚至可以透過移動攝像頭來追隨這些AR雪花、AR星辰。
考慮現實的障礙物
假設AR達到理想中的逼真感，與現實難以區分，那麼它一定會具有各種物理特性，比如遮擋、撞擊反彈等等。因此，AR遊戲需要透過攝像頭來識別空間中障礙物所在的距離，當桌子等障礙擋住AR時，確保AR不會繼續疊加在桌面上，而是有部分被桌子擋住，模擬物體在不同距離所造成的自然視覺規律。
Runesson指出，開發者可以在AR物體上疊加一種遮擋掩膜，它可以根據真實場景變化來渲染AR的遮擋效果。
實際上，早期就曾體驗《精靈寶可夢Go》的玩家會知道，此前的AR通常不支援遮擋，只是將3D模型疊加在2D影片中，甚至移動攝像頭角度也無法檢視3D模型的背面。而隨著移動裝置的攝像頭技術不斷髮展，越來越多的手機開始支援3D深度識別，這也為渲染AR遮擋帶來可能。
接下來，AR技術還將持續發展，尤其是隨著AR眼鏡產品不斷升級，未來人們將可以透過AR眼鏡獲得更沉浸、立體的視覺體驗。參考：GI
