今年8 月，在因 COVID-19 而線上舉行的Hot Chips 33會議上，三星Sooki Yoon 介紹了公司三星今年早些時候釋出的 50-Mpixel GN2 影象感測器。根據 Yoon 的介紹，這款感測器將被用於小米 Mi 11 Ultra/Pro 等手機，它創造的相機功能可讓大多數緊湊型、無反光鏡和 dSLR 相機相形見絀。
隨著手機相機的功能越來越好，照相手機已經系統地消滅了攝影愛好者的相機市場。三星 GN2 感測器可能足夠好，可以將最後的賭注放在“只能”用作相機的消費裝置的核心上——你知道，就像相機一樣。
三星 GN2 影象感測器是一個 2 die的三明治結構，由一個 8160×6144 畫素的影象感測器晶片和一個裝有模數轉換器 (ADC) 和影象處理數位電路的晶片組成。畫素die擁有 5000 萬個 1.4 μm 畫素，因此使用更大的光刻幾何形狀對die上的電路進行成像。包含 ADC 和影象處理電路的晶片使用 28 nm 光刻技術，這是目前晶片製造的經濟最佳點。
GN2 感測器具有許多突出的特性，包括：
- 50Mpixel 解析度
- 使用對角切片相位檢測畫素的高階 DPAF（雙畫素自動對焦）
- 用於寬動態範圍的智慧 ISO Pro
- 交錯 HDR（高動態範圍）
- 由於降低了 ADC 工作電壓，顯著降低了功耗
這些功能中的每一個都值得詳細說明。
50Mpixel 解析度
影象感測器解析度始終與畫素動態範圍交戰。要獲得更高的解析度，您需要更多的畫素。在相同尺寸的晶片上放置更多畫素，每個畫素必須變小。但是較小畫素的電荷阱容納的電子較少，這會導致陰影嘈雜。
對於更高畫素解析度和低影象噪聲的競爭設計目標，三星的解決方案是將 GN2 感測器上的 50 Mpixels 放在更大的矽片上。圖 1 說明了三星手機影象感測器在 GN2 中達到頂峰的演變。
圖 1：三星 GN2 移動影象感測器透過使用放大的感測器晶片實現高解析度和低噪聲。（圖片來源：三星）
如圖 1 所示，三星 GN2 影象感測器透過在更大的矽晶片上放置具有更大電荷阱的更大畫素來實現高解析度和低噪聲。之前的三星影象感測器採用 0.8 和 1.2 μm 畫素，而 GN2 影象感測器採用 1.4 μm 畫素。結果如圖 2 所示，由於可以儲存在畫素電荷井中的最大電子數量增加了 33%，因此靈敏度大大提高，這帶來了更大的動態範圍，影象陰影中的可見噪聲更少。
圖 2：三星 GN2 影象感測器的 1.4 μm 畫素比 0.8 μm 畫素多儲存 33% 的電子，這帶來更大的動態範圍和更低的影象陰影噪聲。（圖片來源：三星）
高階DPAF
目前相機的頂級對焦演算法是雙畫素自動對焦（DPAF），它使用分裂畫素在一個成像畫素上建立雙像。每個成像畫素由兩個光電二極體組成，可用於成像和聚焦。圖 3 說明了該技術的工作原理。
圖 3：雙畫素自動對焦 (DPAF) 在分割畫素上投射左右影象，並透過感測分割畫素讀數上左右影象的相位何時匹配來檢測影象何時對焦。（圖片來源：三星）
DPAF 聚焦技術將左右影象投射到畫素的兩個光電二極體上，並透過在分割畫素讀出期間檢測左右光電二極體的相位輸出何時匹配來檢測影象何時對焦。在成像期間，左右光電二極體的輸出被組合以產生影象
DPAF 並不新鮮。例如，從 2013 年推出的 70D dSLR 開始，佳能一直在其相機上使用 DPAF。但是，DPAF 可能有一個致命弱點：如果相位感測畫素中的兩個光電二極體透過垂直光學壁進行光學隔離，則畫素無法檢測水平線的相移，因為水平線在向右或向左移動時看起來相同（具有相同的相位）。三星巧妙的解決方案是對 GN2 感測器的一些畫素（綠色畫素）進行光學分割，而不是垂直對角線。需要明確的是，綠色光電二極體在電氣上垂直分離，光學上對角分離，如圖4所示。
圖 4：早期的雙畫素相位檢測使用垂直深溝槽隔離 (DTI) 將光引導到左右相位檢測畫素光電二極體。三星 GN2 感測器採用對角線 DTI 結構，允許綠色畫素中的兩個光電二極體檢測並聚焦水平線和垂直線。（圖片來源：三星）
對角光隔離允許每個綠色光電二極體對水平線和垂直線的相位差做出響應，從而為相機提供更好的 DPAF 功能。圖 5 說明了垂直隔離和對角隔離相位檢測子畫素之間的差異。在左邊的影象中，垂直隔離的 DPAF 感測器無法在任何區域對焦，因為該區域中只有水平線。在圖 5 右側的影象中，感測器可以聚焦在每個區域的所有水平線上。
圖 5：垂直隔離的相位檢測子畫素不能聚焦在水平線上，因為向右或向左移動這些線不會移動光電二極體中產生的訊號的相位。對角隔離的相位檢測畫素可以檢測水平線。（圖片來源：三星）
智慧 ISO Pro
三星 GN2 感測器中的每組四個畫素都有一個單獨的雙增益控制開關，用於調整畫素組的 ISO 感光度。對於明亮的影象，感測器會降低畫素的增益，以匹配從畫素影象訊號到畫素 ADC 的整個輸入範圍（低 ISO 模式）的全電壓範圍。對於弱光，感測器會提高畫素組的增益，以便 ADC 的完整輸入範圍僅覆蓋亮度範圍的低端（高 ISO 模式），如圖 6 所示。
圖 6：三星 GN2 影象感測器可以在光線昏暗的場景下在高 ISO 模式下執行，以實現更低的噪點，並在光線明亮的場景下切換到低 ISO 模式。（圖片來源：三星）
交錯的HDR
高動態範圍 (HDR) 是一種相對較新的成像技術，它“似乎”擴充套件了相機的動態亮度範圍。這是一種壓縮技術，可合併以不同感測器靈敏度拍攝的兩個或多個影象，以適應影象的明亮部分和昏暗部分。它有助於突出高對比度場景陰影中的細節。由於 HDR 技術使用同一場景的多個影象來實現效果，如果單獨的影象沒有完美疊加，HDR 可能會導致場景模糊。影象拉伸演算法可以修復一些模糊，但減少模糊的最佳方法是減少多個影象的捕獲之間的時間。
交錯 HDR 是一種透過在通常用於拍攝一張影象的時間內進行三種不同的曝光來減少模糊的方法。三星表示，這項技術利用滾動快門，讓影象感測器進行長時間曝光，然後是中等曝光，然後是短曝光，分別用於昏暗、中等和明亮的成像，然後輸出這三幅影象有一些重疊。使用滾動快門，感測器首先進行長時間曝光並開始一次一行輸出曝光，一行中的所有畫素電壓同時從畫素行傳輸到 ADC。
在長曝光的所有行都完全輸出之前，感測器進行中等曝光並在長曝光完全輸出之前開始輸出。然後它對短曝光做同樣的事情。感測器使用虛擬 MIPI 通道輸出具有一定重疊的三個曝光，GNR 感測器的影象處理晶片將影象編織在一起以生成 HDR 影象。如果這一切看起來令人困惑，也許圖 7 可以說明事件的順序。
圖 7：為了減少交錯 HDR 模式下的模糊，三星 GN2 感測器對昏暗區域進行長時間曝光，並開始在一個虛擬 MIPI 通道 (VC0) 上輸出該影象。在長曝光影象完全輸出之前，感測器拍攝中等曝光影象並開始在第二個 MIPI 虛擬通道 (VC1) 上輸出該影象。然後對明亮區域進行短時間曝光，並在第三個 MIPI 虛擬通道 (VC2) 上輸出該影象。（圖片來源：三星）
如圖 7 所示，感測器可以同時在第四個 MIPI 虛擬通道（VC3）上傳送由 DPAF 功能生成的自動對焦資訊（圖中標記為“AF”）。
顯著降低功耗
手機不斷地與電池定律作鬥爭：電池能量容量的增長速度不如矽驅動能力快。因此，一直需要儘可能降低功耗。三星 GN2 影象感測器的設計者攻擊了一個明顯的功耗：用於將模擬畫素電壓轉換為數字表示的高速 ADC。將 ADC 的電源電壓從 2.8 V 降至 2.2 V 可將 ADC 的功耗降低 20% 以上，從 311 mW 降至 244 mW。
然而，僅僅降低電源電壓就會將 ADC 的輸入範圍減小到無法接受來自感測器的全範圍畫素影象電壓的程度。為了解決這個問題，三星的工程師在畫素影象感測器晶片上增加了一個 -0.6 V 的襯底反向偏置，有效地改變了感測器的輸出範圍，他們開發了一種低閾值電壓電晶體設計，用於 28奈米die。這兩項創新的結合降低了操作功率，同時保留了完整的感測器曝光範圍。
Yoon 在 Hot Chips 33 上的演講中討論了三星 GN2 影象感測器中設計的其他創新，但上面列出的功能真正引起了我的興趣，作為設計工程師和擁有多部數碼相機的長期相機愛好者. 三星的工程師在這款感測器中融入了大量的技術創新，我相信它確實提高了所有相機的能力標準，無論是手機還是其他。
