全自研？扒皮OPPO影像專用NPU，到底有什麼用？

12月8號OPPO首次披露了這枚叫做MariSilicon X，由臺積電6nm製程製造的影像專用NPU晶片。訊息出來，有人沸騰（比如我），有人理智，有人冷嘲熱諷。畢竟當時什麼資訊都沒有，除了情感上能宣洩一下之外，沒法說什麼。今天這顆晶片正式釋出，並且很快會用於下代基於高通驍龍8Gen1平臺的FindX旗艦機上。那麼，我們就來認真審視一下這顆晶片到底有什麼用，特別是在高通或者聯發科SoC效能這麼強勁的情況下，這顆晶片能起到多大的作用。

Marisilicon X是一枚專門用於影像處理的NPU晶片，它擁有OPPO完全自主研發的核心IP：MariLumi影像處理單元和MariNeuro AI計算單元。這裡必須強調一下，鑑於6nm及更先進製程下OPPO無法取得相關的IP，OPPO也沒有興趣購買第三方IP構建自己的晶片，這枚晶片的影像處理單元IP和AI計算單元IP完全自研。

如果用最簡單的話來描述Marisilicon X到底是什麼？嚴格來說，它既不是ISP，也不是NPU，而是一枚DSA特定領域架構，面向計算攝影的簡易SoC，它包括了影像處理單元和AI計算單元，以及片上記憶體等幾個主要部分，其複雜程度遠超過傳統意義上的ISP或者NPU。

Marisilicon X在計算攝影流程中，位於什麼樣的工作位置呢？它工作在最前端的RAW域，直接接受來自CMOS的RAW域資訊，這顆晶片有20bit的恐怖位寬，最大支援到20bit的RAW域資訊和20bit的HDR Fusion。Marisilicon X在最前端處理完資訊之後，把RAW域資訊交給SoC輸出。

而傳統基於SoC，如驍龍888 ISP的處理過程是什麼樣呢？以FindX3 Pro為例，它僅僅在YuV域才介入計算攝影的演算法處理，包括HDR和多幀合成。此時，影象已經經歷了多次壓縮處理，細節丟失嚴重。如果這麼說大家無法理解的話，直接展示樣張，請注意直接用RAW域資料進行後期處理和JPG直出（也就是FindX3 Pro計算輸出完畢的樣張）的區別。該樣張來自我對FindX3 Pro的詳測，選取了10bit色深 RAW檔案和8bit計算攝影直出JPG的對比：

這是FindX3 Pro 10bit RAW在Lightroom中開啟後的樣子，請注意模特面部的細節和這件亮綠色小西服的特徵。

在FindX3 Pro評測裡，我指出，RAW保留的原始資訊是驍龍888 ISP後期在YuV域上展開計算然後輸出JPG這種壓縮再壓縮無法比擬的。而Marisilicon X所做的事情，就是在RAW域直接介入計算，包括高達20bit的超級HDR和多幀合成處理。這樣做有兩個好處，第一個好處是在RAW域就做超量計算後再輸出給SoC，畫面細節和計算效果得到最大程度的保證；第二個好處就是給SoC減壓，特別在極端複雜場景下的動態影片（例如4K夜景影片），SoC能從容不迫地輸出影片。這個過程非常容易測試，在新一代FindX上市之後，比較一下4K夜景影片、極端環境下的拍攝（需要超高動態範圍支撐的場景和極暗光，超逆光場景）手機的計算速度，整體發熱情況和流暢度就清楚了。

當然，這一切需要Marisilicon X真的具備強悍的計算效能和卓越的製造工藝。臺積電6nm製程是公認的先進製程，這使得MariSilicon X能在不大的Die上同時整合ISP/NPU和片上記憶體，不再需要共享系統的LPDDR5記憶體。先來看看這顆晶片的處理能力，它的MariNeuro AI計算單元在int8精度下實現了

18TOPS的恐怖算力和11.6TOPS/W的能效比。

因為計算流程的改變，搭配Marisilicon X使用的驍龍8Gen1平臺可以在RAW域就提供如此巨量的算力對最高20bit的RAW資訊進行計算。這在過去是做不到的，特別是影片應用。

驍龍888的NPU執行AI降噪演算法的時候，只能做到2FPS的效能且耗能巨大，而前置的Marisilicon X可以輕鬆實現40FPS的處理能力，功耗僅為797mW。從這一點上，至少在計算攝影領域，把Marisilicon X叫做驍龍8Gen1的救星也不為過。

除了20bit RAW域高速實時處理能力，Marisilicon X還提供了對20bit Ultra HDR的效能支援，4倍於FindX3 Pro的動態範圍。過去其實頭部廠家都有自己的HDR演算法，但受限於SoC的能力，一直很難滿血發揮。Marisilicon X在RAW域就介入HDR的計算，這是手機領域裡非常罕見的。

為了讓這顆計算攝影處理器達到最佳的效能，OPPO為它設計了影像專用記憶體子系統。

一般來說，AI神經網路在運算過程中會不斷地展開，有很大的feature map，這些資料如果透過系統記憶體去讀的話會產生較高的讀寫延遲，以及額外的系統能耗開銷。OPPO在NPU內部提供了一個超高速片上SRAM快取去加速AI神經網路的運算，這個片上快取的資料交換速度達到萬億位元/s。

除了片上快取之外，Marisilicon X也內建了Extra LPDDR 4X記憶體，它可以提供8.5GB/s的速度。這個擴充套件記憶體幫系統整體頻寬提高了17%，並且專為前置的計算攝影服務。

在之前那篇關於OPPO為何要造晶片的文章裡，我提出一個觀點：“OPPO想獲得和自身市場地位相配的資本市場評價和消費者評價，就必須自研核心技術，做全流程的自研體系。”以計算攝影為例，OPPO已經提出了全鏈路10bit（隨著RAW精度的提高和算力提升，未來可能會升級到12或者18bit）的概念，這意味OPPO必須採用自研的SoC（或者Marisilicon X這樣的RAW域專用計算攝影處理器），自研或者演算法固化，獨佔定製的CMOS、完全自研的演算法和特別設計的光學模組來達到真正的全鏈路10bit。這個過程缺一不可。蘋果這麼幹，成功了；華為這麼幹，也成功了；無論是索尼或者三星公開市場的CMOS，亦或是大立光舜宇公開市場的光學模組，再或者高通或聯發科的旗艦級SoC，都只能為所有客戶做普適性最佳化，不可能為某家廠商做深度的，有特色的最佳化。聯合研發，一般情況下能參與到產品需求定義、功能定義、原型機測試和演算法聯合開發就已經相當不易，像華為那種從麒麟SoC到獨佔RYYB CMOS再到XD Fusion體系一條龍的研發，這在公開市場是不可能的。華為和蘋果很早就意識到公開市場的產品和方案無法滿足成本優勢和差異化優勢的需求，只能走自研的道路。

如果說FindX3世代OPPO提出的全鏈路10bit是從影像訊號採集、計算、輸出、顯示進行定義的話，那麼這次獨佔RGBW的IMX709和Marisilicon X的加入，才是真正全鏈路10bit RAW計算影像的歷史開端。Reno7 Pro上那顆IMX709充其量只能算殘血版，因為它獲取的資訊依然經過壓縮最後交給天璣1200進行處理。而真正的滿血版貓眼感光自拍，應該來自於IMX709的RAW域配合Marisilicon X的前端計算能力。OPPO把這個叫做RGBW Pro。

傳統的RGBW是採用猜色的方式進行RGB的輸出，後果很明顯，就是降噪遇到挑戰且有可能偏色。當有了MariSilicon X作為SoC和CMOS Sensor之間的中間橋樑時，就可以讓Sensor直接出RGGB和W。也就是說它的W資訊不需要再被轉化掉，由MariSilicon X處理之後再進行feature×RGBW再給到SoC。這樣的處理的方式的話，在Image SNR（信噪比）方面會提升8.6個dB，因為是兩條RAW（RGGB+WWWW）流程處理，在影象解析率方面會提升1.7倍。這是非常驚人且實用的表現。

所以小結一下，OPPO這顆自研IP的影像專用NPU，它最核心的作用，就是在最前端的RAW域提供高達18TOPS的算力和11.6TOPS/w的能效比。在RAW域提供20bit精度的RAW計算能力和20bit位寬的Ultra HDR計算能力，同時把計算結果輸出給SoC。這顆晶片解決了全鏈路影像流程中資訊採集和計算的問題，為SoC後端提供了比以往壓縮過的資訊量豐富得多的資訊，從而從根本上解決了噪音、畫質、色彩等核心問題。

最後，我們再來探討一下OPPO為什麼要做晶片。因為目前基於公開市場解決方案的移動裝置影像能力到了天花板，OEM們不可能依靠高通、索尼、聯發科、三星去解決差異化的需求問題。所謂的聯合研發把能做的，該做的，不該做的都幹了，但依然沒有達到蘋果和華為的那個效果。原因上面說過了，公開市場晶片和演算法無法針對某個特定的產品設計需求進行獨特最佳化，但是全流程自研的晶片和演算法，卻可以。為了打造真正的高階產品，滿足產品定義，OPPO只能選擇最難的路，當然也有人做成功的路——自研晶片，獨佔Sensor和自研演算法。先從感知較強的計算影像領域開始做，以後再涉及其他方面。

這是業務發展的需求。從企業戰略來說，OPPO到了一個需要重新定義公司屬性的時候。根據CounterPoint的2021年Q3全球手機廠商份額資料，歐加集團（合併OPPO+realme+一加），目前歐加國內市佔率第一，全球份額前三。如此龐大的得份額，依然無法滿足使用者對差異化體驗的需求。就像我說的，躺在公開市場解決方案基礎上的份額，那叫養蠱，終於一天會被吃掉。在發育的過程中，能否異化裂變出別人沒有的優勢，這確實是OPPO當下最需要考慮的事情。做一家優秀的Fabless（無晶圓廠半導體設計公司），先從先進製程下自研IP的影像處理器開始做起，透過獨佔Sensor，真正掌握端到端的計算攝影差異化能力，這是接下來進軍CPU和GPU的良好開端。CPU和GPU，都可以購買ARMv9的IP授權，但自研IP的能力也不能丟。