自從一年前代號為“馬里亞納”的晶片自研計劃曝光以來，外界對OPPO自研晶片的好奇和議論不斷，除了關注手機廠商自研晶片的趨勢將給市場生態帶來的改變，大家對這一晶片的屬性也十分關注。
今天，OPPO在未來科技大會上正式公開發布了這一晶片，而在之前的一次閉門會議中，OPPO晶片產品高階總監姜波揭開了這個晶片的面紗——一個影像專用NPU。
無疑，目前手機核心處理器的效能已經十分強大，提升空間已然不多，因此智慧手機在核心功能上進行垂直迭代的空間也已有限，但橫向效能的拓展還大有可為。而影像作為手機最重要的功能之一，其結合AI技術有很大的提升空間。因此，幾乎所有通用處理器廠商在研發新一代產品時，也都將影像的AI處理能力作為一個重要的特性。但作為處理器內建的一個單元，它往往滿足不了手機廠商對個性化、靈活性和差異化方面的要求。
這在OPPO尤為明顯，在推出這個NPU之前，他們已經在手機的影像感測器、攝像頭模組和鏡頭模組上進行了定製化，由此積累了影像鏈路大量的經驗。基於通用的SoC平臺，OPPO做了很多AI演算法的積累，包括傳統演算法（CV演算法）和AI演算法。姜波認為，現在已經到了計算影像爆發的時間點，未來十年，計算影像將主導整個影像新的技術發展。
使得OPPO下定決心自研影像處理晶片的，是通用處理器在終極影像體驗目標時所面臨的挑戰。例如定製化的感測器，需要處理器做相應的配合，但二者研發週期不同，配套的平衡很困難；又比如針對某個感測在處理器上做鏈路最佳化增強的處理，意味著研發要做很大的調整，成本也要增加，這些都是通用處理器比較大的挑戰。
還有一個關鍵的點在於演算法與晶片這種軟硬體的結合，在很長時間裡將是計算影像的關鍵，而如果演算法和晶片本身不能相互做到完全開放、完全的緊密耦合的話，就無法發揮出最大效益，對於手機使用者非常看重的體驗而言，手機廠商能否自主實現這種效益會產生很大差別。
MariSilicon是OPPO自研晶片的產品品牌名稱，這次釋出的影像專用NPU，命名為馬里亞納 MariSilicon X，據姜波介紹，其特性包括四個：1、極致能耗比； 2、整個行業領先的HDR；3、實時的RAW域處理；4、RGBW PRO，即對定製RGBW感測器的雙鏈路處理。
從能耗比看，馬里亞納 MariSilicon X的算力達到18TOPS，高過Phone A15的NPU算力（15TOPS），能耗僅11.6TOPS/W。姜波表示，雖然NPU可以透過增加芯片面積堆疊算力，但手機要求低功耗，11.6TOPS/W不是一個簡單的網路演算法片上執行的能耗，而是商用化的AI演算法在實際應用場景中執行的實測資料，這個能耗非常低，依靠OPPO自研IP——MariNeuro AI計算單元實現。基於這一技術，不僅可實現AI降噪下的40fps攝像，且功耗不超過800mW。相較於Find X3 Pro中所採用的通用處理器的NPU，在執行OPPO AI降噪演算法時，採用自研NPU算力提升了20倍，功耗卻更低。
除了NPU本身的架構，儲存也決定了AI系統的效能，馬里亞納 MariSilicon X的架構設計和演算法是解耦合的，因此其片上儲存也可以根據演算法和場景要求進行相應客製化來進行最佳化，即根據自己的演算法和網路模型，來配置片上儲存的大小。
此外，馬里亞納 MariSilicon X有一個多級的記憶體控制系統，配備了專用的記憶體子系統和獨立DDR頻寬（2個Die合封在裡面），和主處理器搭載使用時，整個系統的DDR吞吐率增加了17%。
從HDR處理能力看，馬里亞納 MariSilicon X可以實現20bit，120dB的影象動態範圍，即影象最暗和最亮的部分相差100萬倍，該效能4倍於目前最新發布的旗艦級處理器。這一效能由馬里亞納 MariSilicon X中另一個非常重要的自研IP——MariLumi影像處理單元實現。
馬里亞納 MariSilicon X可以將整個影像的AI的處理，包括影像演算法的處理，都放在RAW上做，即實時的RAW域處理。通常，RAW資訊，轉成RGB，再轉成YUV，每一步都有資訊損耗。如Find X3 Pro上AI降噪的演算法是放在YUV上做的，算力消耗很大，並且最多隻能做到18bit的HDR。
把演算法前置到RAW域，由於RAW的線性度、色彩比較好，有更原始的資訊，所以在RAW上處理，可以得到更好的處理效果，但演算法會更復雜，相應的硬體投入也會更多。“馬里亞納 MariSilicon X的方案至少有8dB信噪比的增強，相當於2.6倍的提升。”姜波說，“同時，在4k場景下，我們的影象亮部和暗部的增益不一樣，亮部在8dB，暗部達到12dB，影象暗部的信噪比可以達到4倍的有效提升。”
RGBW sensor的原理是透過改變感測器畫素排列增加進光量，提升SNR。但作為一種新型感測器，其在行業中的應用規模並不大，因此通用型處理器如果要發揮出這種感測器的長處，首先要在感測端把RGBW透過插值演算法變成傳統的RGGB資訊，再傳送給處理器，這個過程會損失一些有用的資訊。
馬里亞納 MariSilicon X在定義時就和OPPO定製的RGBW影象感測器進行了耦合和最佳化，在設計設計影象處理的渲染鏈路時分為兩路：一路為RGGB，同時還有一路White，較傳統RAW的一路處理，可以獲得8.6dB的信噪比提升。同時，在紋理細節上，透過2路的超取樣，可以提高1.7倍的解析力，這樣，RGBW sensor的優勢得到了充分的發揮。
馬里亞納 MariSilicon X採用臺積電的6nm工藝製程，據悉，這是因為在加入MariNeuro、MariLumi這些自研的IP後，12nm很難達到作為終端層面功耗效能極致的要求。而且，從工藝製程來講，6nm也是臺積電第一個主流採用EUV的製程。
馬里亞納 MariSilicon X的推出，意味著OPPO的手機可以實現在RAW上進行AI處理並實現4K的影片。透過這個晶片，OPPO首次把AI的20bit RAW、4K、Ultra HDR整合在一起，同時也首次在其安卓手機上實現了計算攝影的里程碑式的跳躍。據悉，該晶片將首先在OPPO Find X系列中搭載，預計會在明年一季度釋出。
