作者 | 雲鵬
編輯 | 漠影
如何讓虛擬世界更接近真實世界?是科技產業探討了幾十年的命題。隨著元宇宙概念火爆,業內對它的討論熱度也高漲起來。
遊戲無疑是與我們生活關係較為密切的虛擬世界之一,不論是手機遊戲、PC遊戲、主機遊戲,還是VR/AR遊戲,都是如此。
從早期的2D平面動畫過渡到3D遊戲,經過幾十年發展,如今一些大型3A遊戲的畫面幾乎可以做到“以假亂真”,這其中非常關鍵的一點,就是光線追蹤技術(Ray Tracing,後文簡稱光追)。
簡單來說,自然世界物體的真實感更多來自於光影,而光線追蹤技術,就是讓光線反射遵循真實世界的原理呈現出來。
2018年8月1日,隨著RTX 20系列顯示卡釋出,英偉達第一次將光線追蹤技術帶到了大眾消費級產品中,不過要享受流暢的光追遊戲體驗,你可能至少需要一張“萬元級”顯示卡。
即使經過三年多迭代,但是算力不足仍然是制約光追技術在PC端大範圍普及的核心瓶頸,光追技術消耗的大量算力會導致遊戲流暢度顯著下降。
到底是要光追帶來的畫質提升,還是要流暢度?似乎變成了魚和熊掌不可兼得的一道選擇題。
而今天,這樣的光線追蹤技術就要在手機上實現了,沒錯,這並不是開玩笑。
就在前不久,ColorOS在OPPO開發者大會上正式釋出了面向移動端的光線追蹤技術,並且讓到場使用者實際體驗了光追遊戲Demo。也就是說,ColorOS第一次真正把光線追蹤技術標準能力落到了移動端。
ColorOS究竟如何把這項“端遊級”技術帶到了手機上?移動光線追蹤技術的發展是否會帶來手機畫質的新革命?透過與OPPO光追技術負責人的深入交流,我們也嘗試對這些問題進行了深入挖掘。
一、手機上做光追,看似“費力不討好”,ColorOS在圖什麼?
光線追蹤技術在PC遊戲領域的應用不過三年多,時至今日仍然面臨很多挑戰,生態建設也在不斷完善中。而此時ColorOS選擇將光線追蹤技術提前佈局在移動端,其實需要很大的勇氣。
雖然做出這樣的選擇不容易,但他的目光顯然看得更遠。實際上,透過ColorOS在技術上地不斷積累和行業及生態的佈局,顯然已經看到“端遊技術移動化”的趨勢,而這種趨勢是來自於多方面的。
比如最顯著的一點就是算力的提升,雖然算力依然是制約光追效能的關鍵因素,但不可否認,手機晶片效能正在快速增長,移動晶片算力也越來越強。
以蘋果A系晶片的迭代為例,在過去五年裡,從A10 Fusion到A15,單從基準效能測試成績來看,晶片的效能提升了將近2.5倍。如果我們將時間線拉長,這樣的提升會更加顯著。
蘋果A10 Fusion(上)與A15晶片(下)Geekbench 5跑分對比
除了在自己生態內的對比,蘋果A15晶片在Geekbench 5單核跑分上已經接近了英特爾和AMD的旗艦級PC處理器(兩者約在1800分左右)。可以說,移動端裝置正在逐漸縮小與PC端的算力差距。
硬體算力的提升,是光追技術得以實現的基礎,正如汽車的發動機一樣重要。
而在軟體介面方面,Vulkan API在2020年左右釋出了全球首個光追工業標準,提供了能夠跨平臺、跨裝置、跨軟體使用的解決方案,這樣一來,遊戲開發商和硬體廠商之間才能夠進行標準化開發。
現在PC端遊基本上都是基於Vulkan執行的,這種標準的統一,也給技術的實現鋪平了道路,便於更多玩家能夠加入到ColorOS的光追技術生態中。
不論從硬體還是軟體方面看,端遊技術移動化已經是行業發展的大趨勢之一,而OPPO其實在這方面一直走的很靠前,比如今年的OPPO Find X3就首發了此前只有PC端才見得到的可變解析度渲染(VRS)技術。
這一次,對於光追這種在圖形影象領域的旗幟性技術,顯然ColorOS已再次搶先佈局。等到硬體真正成熟時,ColorOS就可以在系統層面將技術快速落地,實現對消費端的賦能。
現階段光追技術在手機行業中的應用沒有先例參考,ColorOS可以說是“摸著石頭過河”,需要一步一步死磕技術,但他們在提前佈局上的道路上,走得非常堅決。
當然,智慧手機行業的不少巨頭也開始佈局移動光追技術。
比如今年年初,華為在釋出會上公佈了自家的光線追蹤技術,並展示出在手機上執行的光線追蹤遊戲影片。而移動晶片製造商三星也在前不久稱,自家新一代旗艦移動晶片Exynos 2200也將支援光線追蹤技術。
從巨頭們的動作可以看到,移動光追技術的發展潛力是巨大的,但廠商們仍然處於摸索階段,此時,在ODC21開發者大會的Reno 6 Pro上,讓使用者真實體驗到移動光追遊戲Demo的ColorOS,顯然走得更加靠前。
如果像OPPO軟體工程事業部總裁吳恆剛所說,ColorOS能在明年上半年面向硬體支援的手機提供光線追蹤能力的接入,ColorOS很可能會引領手機畫質升級進入下一輪大潮。
其實在前不久的ODC21開發者大會上,ColorOS提出了“泛在服務”概念,“泛在服務”就是讓人與裝置間的互動更加自然無感、讓虛擬世界的真實渲染與現實趨於融合、讓多裝置無縫互聯互通,從而實現服務體驗隨人流轉。
而建立這樣的泛在服務生態,感知、計算和生態是核心要素,其中感知與計算是保證泛在服務的基礎。光線追蹤技術與AI渲染和異構計算則支撐起泛在服務生態的計算能力。
簡單來說,AI渲染和光線追蹤技術能夠提高內容真實性和趣味性,異構計算則可以降低負載、更充分地利用多裝置之間的算力,實現這種真實性,三者相互協同,密不可分。
所以說,不論從搶先佈局行業技術,還是自身內在發展的驅動力來看,ColorOS做光追技術,都是勢在必行。
二、手機玩光追到底如何實現?從硬體、軟體到生態一個不能少
說起來容易,做起來難,在手機上實現光追,需要面對的挑戰是絕對不容小覷的。
在移動端,傳統影象渲染採用的是光柵化渲染計算,簡單來說,針對需要光線陰影表現的地方,光柵化渲染會將光線照射到物體畫面上,以2D影象形式進行渲染。
這種方式計算效率高,但呈現出來的光影卻不夠真實。
更進一步的光線追蹤技術能夠實現更為真實的光影效果,但計算負載也要大得多,短期內手機硬體算力依然無法完美支援光線追蹤技術。也就是說,在手機上做光追,不能完全採用跟PC端遊一樣的策略去做。
所以ColorOS就採用了一種更為平衡的方案,他們將其稱之為“混合渲染技術”,該技術是在光柵化渲染的基礎上,加入光線追蹤。也就是說,ColorOS希望在現有的遊戲管線基礎之上,透過一小步一小步的方式把裡面原來傳統管線做得不好的地方用光追加以改進,透過這種方式來介入到現有的遊戲生態裡面去。
比如光追技術現在最側重的效果是折射、反射和陰影,而ColorOS可以將這些效果先用到特定場景。遊戲內建的快速拍照、人物預覽就是比較典型的應用場景,這些場景的複雜度可控,同時它對於畫面某個區域性的渲染質量要求很高。
這時就可以利用光追折射、反射或陰影效果,讓整體畫面渲染度提升一個檔次,甚至不像普通手機能夠渲染出的感覺,這就起到了事半功倍的效果,同時還兼顧了算力和功耗。
在這樣的渲染方式下,ColorOS上的光線追蹤技術可以把水中倒影、牆上的陰影細節真實刻畫出來,在遊戲、直播和影片中,可以給使用者帶來更強“真實感”的畫面。
實際上,ColorOS在用一種小步快跑的迭代方式,把光追的效果逐漸引入到現有的手機遊戲裡面去,並沒有一次性覆蓋整個遊戲開發流程。
對於光追渲染效果本身,ColorOS重點透過技術研發提升了光追渲染的效能,說的直觀一點,就是提升了渲染光線的數量。
現實中,無數光線的交織構成了真實光影,而遊戲中的光線只有被量化才能夠被模擬和渲染,目前ColorOS的實時光追渲染效能,已經可以達到幾十兆光線/秒。
既然ColorOS的光追選擇了混合渲染技術,那麼如何在遊戲中判斷需要應用光追渲染的物體和場景,就成為另一個關鍵問題。
這需要ColorOS與遊戲內容廠商甚至是硬體晶片廠商協同配合才能完成。
這就帶出了ColorOS所說的光追生態的概念,在移動端實現光追技術,需要產業鏈條上每一個“玩家”的協作。正如一項新技術在產業中的應用,不是一蹴而就的,生態建設需要產業鏈合力。
我們之前在ODC21上體驗到的光追遊戲Demo,就是ColorOS與遊戲廠商、遊戲引擎廠商、SoC晶片廠商一起,經過一年集中攻關,才實現的成果。
ColorOS這次推出的,由Vulkan API驅動、支援移動硬體加速,並面向商用落地的移動光追解決方案,也是業內首個。
比如在硬體側,ColorOS需要與晶片廠商進行硬體驅動方面的合作,在軟體介面側,他們需要與引擎廠商去做光追技術的整合。
簡單來說,ColorOS成為了開發者、引擎廠商、硬體廠商之間的橋樑,成為了串起移動光追生態的核心角色。
據瞭解,知名遊戲引擎Unity、Vulkan API、主流晶片廠商聯發科和一些國內外遊戲內容廠商都已經與ColorOS進行了合作。
對於開發者來說,有多種方式可以接入ColorOS的光追技術,第一種方式就是透過獨立的SDK開發包,開發包可以被整合入任意一個渲染的程式,這也讓它的適用範圍不僅侷限於遊戲。
第二種方式就是開發者可以選擇透過遊戲引擎,便捷地開啟和關閉光追功能。開發者不需要了解和學習光追的技術原理,這也讓使用難度顯著降低。
其實,OPPO已經在自家的幻影平臺上開發了一整套與圖形渲染相關的技術庫,而光追技術是其中最重要的一部分。
在深入探討的過程中,OPPO光追技術負責人說,現在不少移動端的開發者對於光追技術還不是很熟悉,他們不太瞭解這項技術能做出什麼效果,要如何具體使用。
因此ColorOS要做的實際上不僅僅是研發出光追技術,還要將光追技術整合到遊戲引擎中去。只有整合在引擎裡,才能讓開發者更便捷地將光追技術應用到內容創作中去。
在此之上,ColorOS非常需要聽到開發者們的反饋,開發者們提出要求,比如遊戲需要怎樣的光追渲染效果,針對這種需求,ColorOS可以與引擎廠商、硬體廠商一起進行有針對性的開發調教。
對於ColorOS來說,真正讓自己的移動光追技術生態壯大起來,串起這些開發者們是非常關鍵的。
光追在移動端的應用還是一項新技術,這項技術還有哪些應用價值,能夠在哪些場景中起到好的效果,都需要大家共同發掘。
也正因如此,對於移動光追技術,ColorOS很堅定地保持開放的態度,明年上半年,在支援光線追蹤的手機裝置上,他們就會提供光線追蹤開放能力的接入。
三、不到一年,從技術起步到落地,移動光追想象空間廣闊
雖然從硬體、軟體到生態建設都面臨諸多挑戰,但ColorOS團隊還是在短短一年左右的時間裡,集中力量死磕技術,最終實現了落地展示。
最關鍵的是,作為在移動光追領域走在行業最前面的廠商之一,ColorOS沒有前人的經驗可以參考,他們必須要做“第一個吃螃蟹的人”。
在ODC21大會的光追技術分論壇上,我們真的可以手持Reno 6 Pro感受光追技術的實現效果,這背後的艱辛可想而知。
據瞭解,這次移動光追技術的研發主要由OPPO美國研發中心的西雅圖研發部負責,他們的研發團隊包括一批在圖形領域工作了十幾年的資深技術專家。
OPPO光追技術研發負責人透露,這一年的時間裡,他們從最開始實現幾個特定的功能,到最後聯絡產業鏈各個環節的廠商,其中每一步都要面對很大挑戰。
ColorOS不僅僅要做一個SDK,而是跟遊戲廠商們進行更深入的合作,這就需要他們幫遊戲廠商做很多事情,推動他們往前走。
舉個很簡單的例子,一些遊戲廠商仍然使用舊版本引擎進行遊戲開發,跟最新的光追方案有很多不相容的地方,對Vulkan的支援並不友好。
但短時間讓廠商們去升級遊戲引擎其實很難,因為他們大多基於原有引擎搭建了很多技術,升級迭代成本很高。這時,ColorOS就會為此去做針對性的適配、相容,讓他們的也遊戲可以實現光追技術。
要知道,這樣的深度合作涉及多方,企業分佈於全球各地,進行溝通討論通常會不分晝夜,這對於團隊的意志力都是一種考驗。
這次除了我們在ODC21上看到的光追技術在遊戲領域的應用,ColorOS也做了許多大膽暢想,比如在3D動態桌布、影像濾鏡、AR等領域,移動光追也有不小的應用價值。
ColorOS作業系統的動效以及影像拍照能力一直是OPPO手機的強項,光線追蹤技術的加入,也會進一步提升使用者的體驗。在未來,大家更是可以透過ColorOS實現服務隨人流轉,服務無所不在的體驗,這與ODC21開發者大會上提出的“以使用者為中心的泛在服務”也形成了呼應。
光追技術提升的重點是影象,而手機相比於PC,用到圖形影象渲染的應用顯然要更為豐富,值得探索的應用場景也就更多。手機巨頭們紛紛佈局移動光追技術,也是看到了該技術的潛在價值。
隨著手機算力的提升,光追效果可以從幾十兆/秒提升至幾百兆/秒甚至更多,到那時,移動光線追蹤技術的應用場景還會有更大的想象空間。
結語:“Buff級”光追技術,或攪動一場手機畫質革命
從ColorOS展示的Demo中,我們能夠看到,移動光追技術對於手機遊戲畫面表現力的改善是一種“質變”,甚至可以稱之為“Buff級”,是一項可以實打實地提升使用者觀感的技術。
雖然手機晶片算力不足仍然是光追技術落地的主要瓶頸,但各大主流手機廠商甚至是晶片廠商都開始在該領域進行佈局,迎難而上。
而ColorOS這種研發先行、生態先行的思路,或許也為手機行業的技術創新提供了一種值得借鑑的思路:在即將迎來技術革新的行業提前佈局,獲得確定性反饋後,繼續堅持投入研發,讓產品不斷迭代保持競爭力,從而推動整個行業的進步。
今天,手機已經從最初的通訊工具發展為個人智慧中心,手機作為移動端裝置的代表,可以說是人類尖端科技的“集大成者”。此次由ColorOS帶起的光追技術,是否會成為一股風潮,給手機行業的帶來一場畫質革命,我們拭目以待。