昨天，OPPO正式釋出首款自研NPU晶片——馬里亞納MariSilicon X，這顆晶片採用臺積電6nm工藝和DSA新黃金架構，整合自研的MariNeuro AI計算單元以及MariLumi影像處理單元，在設計之初就將AI和影象處理進行了融合，相比傳統的ISP有更高靈活性和更高效能，用計算攝影突破手機影像功能的極限。
在此之前，小米和vivo也都推出過自研的ISP晶片。問題來了，為什麼現在手機廠商這麼熱衷於ISP的研發，這個模組對成像來說到底有多重要？
簡單來說，ISP（Image Signal Process, 影象訊號處理器，又稱成像引擎）是手機拍照/攝像流程中的核心單元之一。一張照片，一段影片，最終呈現的色彩和細節都取決於它。
ISP所扮演的角色
當你按下手機相機APP的（虛擬）快門進行拍照或錄影時，就會自動進入一場“視覺處理的接力賽”。
首先，光線透過鏡頭進入相機模組內部，經過IR Filter過濾紅外光，然後到達CMOS感測器。這個時候，CMOS會將光學訊號轉換為電訊號，再透過內部的ADC電路轉換為數字訊號，然後傳輸給ISP進行加工處理，再經歷AI單元的一輪智慧成像演算法最佳化後，最終才能生成肉眼可見的圖片或影片檔案。
問題來了，鏡頭和CMOS在將光學訊號轉化為由0、1、0、1組成的數字訊號時可能存在細節上的遺漏和錯誤，而ISP單元的主要任務就是進行“糾錯”、“校驗”和“補償”。
這就好比讓你用英文翻譯一段中文成語或諺語，需要翻譯官具備足夠的文學素養，才能用英語準確表達出中文語境的博大精深。沒錯，此時ISP扮演的就是“翻譯官”的角色。
細數ISP的補償任務
智慧手機的鏡頭是由5片起步的鏡片、濾光裝置、馬達、陀螺儀等部件構成，“透光率”是權衡鏡頭效能的重要指標。
通常手機主攝的鏡片數量要多於副攝鏡片數量
CMOS更是核心部件，感測器尺寸、畫素值大小、RGGB或RYYB濾鏡結構、單位像素面積、多畫素合一技術等等都會影響它的效能。
換句話說，鏡頭和感測器本身都存在物理缺陷，從7P→8P的鏡頭到IMX586→IMX700的CMOS，不斷的迭代升級只能無限趨近完美，而這就意味著經由它們轉化而來的數字訊號的原始資料（raw data）都是不完美的。
CMOS感測器尺寸越大，理論上其成像底蘊就越好
另一方面，當我們進行拍照或影片錄製時的環境光線條件多種多樣，需要鏡頭和CMOS像人眼瞳孔縮放那般適應環境明暗。
作為翻譯官的ISP，其主要任務就是對存在物理缺陷的原始資料進行最佳化補償，並還原出最符合我們預期的明暗效果，比如防止逆光時過曝，看清暗光時的畫面細節等。ISP是由很多功能模組構成，下面我們就簡單介紹一下ISP的功能模組以及需要補償的部分內容：
BLC：黑電平校正
數字訊號對純黑的原始資料定義為0。但由於CMOS存在“漏電流”的缺陷，將鏡頭放入一個純黑的環境時，經過鏡頭和CMOS輸出的原始資料卻不為0。此時，就需要ISP內的BLC（BlackLevel Correction）模組登場，透過對所有畫素減去特性的矯正值，獲得一個矯正成功的結果，這一過程即黑電平校正，讓原始資料可以顯示純黑畫面。
LSC：鏡頭陰影校正
在拍照/攝像時，透過鏡頭到達CMOS中間的光通常要比到達CMOS邊緣的光多，導致CMOS捕獲的影象中間亮度高，周圍邊緣亮度低，容易形成所謂的“漸暈”問題。此時，ISP內部的LSC（Lens Shade Correction）鏡頭陰影校正模組就開始插手了，它會檢測出影象中間亮度比較均勻的部分，並以此為基準，計算出周圍區域需要補償的因子。
Bayer Denoise：降噪模組
除了ADC器件以外，包含模擬部分的CMOS感光器件在訊號的傳輸中也存在一定的噪聲，拍攝環境的光線越暗，就越需要放大訊號，從而產生更大噪音，落實到成像環節就是照片或影片畫面中出現大量彩色雪花狀的噪點。ISP內的Bayer Denoise降噪模組可透過多級濾波，顯著降低訊號中的噪聲，減少成像噪點。
BPC：壞點校正
CMOS感測器屬於物理器件，在長時間使用過程中難免出現壞點。ISP中的BPC（Bad Point Correction）壞點校正模組會自動進行壞點檢測，找到壞點後則可透過中值濾波替換原來的值，從而糾正壞點，避免在全黑畫面中出現彩點和亮點，抑或在純白畫面出現彩點和黑點。
Demosaic：顏色插值
CMOS感測器本身其實是個“色盲”，如果只靠它輸出的照片都是黑白的，想要記錄顏色，還需要搭配一個名為Bayer（拜耳）色彩濾波陣列（Bayer Color Filter Array，CFA）的濾光板，並將其覆蓋在一個感光板上。Bayer色彩濾波陣列的結構主要以RGBW、RWWB、RGGB和RYYB為主，但由於拜耳陣列中的每一個畫素只能採集一個顏色通道資訊，另外兩種顏色資訊需要透過插值演算法，結合相鄰其他顏色的畫素資訊才能組成一個完整的色彩，這個有點類似於“去馬賽克”的過程，就需要依靠ISP內的Demosaic插值演算法模組實現。
AWB：自動白平衡
人腦的視覺系統可以自我修正，無論是陰天、晴天、室內、室外、白熾燈還是日光燈下都能識別出準確的白色，不會受到光源顏色的影響。但是，CMOS感測器卻不具備這一特性，一張白紙在不同光源下輸出的顏色存在偏差，比如低色溫（如白熾燈）偏黃，高色溫（戶外陽光）偏藍。這個時候，ISP中的AWB（Automatic White Balance）自動白平衡模組就能透過檢測色溫→計算增益→色溫矯正這套流程自動校色，從而準確記錄不同色溫光線下的白色物體。
CCM：顏色校正
CMOS感測器各顏色塊之間因顏色滲透可能產生顏色誤差，因此經CMOS獲取的影象與我們期望的顏色之間存在偏差。前面提到的AWB可以矯正白色，而CCM（Color Correction Matrix）顏色矯正模組則可校準除白色以外其他顏色的準確度，比如提升顏色飽和度，讓畫面色彩更豔麗。
AEC：自動曝光
光照強度會因時間和場景出現變化，人眼由於有著一定的自適應能力，可以根據光照變化作出及時的調整，但CMOS感測器卻不具備這個能力。為此，就需要使用ISP中的AEC（Automatic Exposure Control）自動曝光模組根據光照強度自動調節曝光時間，並在必要時進行一定的曝光補償。
HDR：高動態範圍
自然界中的光照強度非常寬，但人眼對高亮度和極暗環境下的細節分辨能力卻相對較窄，CMOS感測器能記錄的範圍則更窄，因此經由後者輸出的畫面極易丟失高亮和極暗部分的細節。ISP中的HDR高動態範圍模組就是為此而生，它能透過Tone Mapping（色調對映）的方式，將畫素值在特別暗的區域拉高，在特別亮的區域拉低，從而顯露出高亮和極暗部分丟失的畫面細節。
除了上述功能以外，ISP還包含RGB Gamma（伽瑪校正）、RGBToYUV（色彩空間轉換）、Color Denoise /Sharpness（色彩去噪/銳化）和Auto Focus（自動對焦）等模組。需要注意的是，上述都僅是ISP的基礎功能，不同的ISP（包含獨立晶片和SoC整合的ISP模組）可能會引入獨有的或更強的特色功能。
雖然高通驍龍和聯發科天璣等5G SoC內部已經集成了效能不俗的通用ISP，但它們很難100%匹配手機廠商自家的AI演算法，因此透過自研ISP（NPU）來匹配自家的AI演算法，自然就成為了手機廠商的突圍之路，可以在硬體趨於同質化的當下實現更討好使用者審美的成像效果。
