明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
當真是買演算法送手機！
這不，谷歌又給“親兒子”Pixel 6塞福利了，讓手機摳圖也能細節到頭髮絲。
看這效果，原本模糊的頭髮輪廓，咻地一下，就變成了纖毫畢現的樣子！
連發絲之間的縫隙也能精準摳到。
這樣一來，就避免了使用人像模式拍照時人物與虛化背景割裂的情況，讓人物照片的縱深感更加逼真。
四捨五入一下，這不就是手握單反拍照？（手動狗頭）
Alpha遮罩+監督學習
在介紹最新的方法之前，先來了解一下過去手機的人像模式拍照到底是怎麼實現的。
傳統方法是使用二進位制將影象分割，然後對分離出的背景進行虛化，在視覺上產生一種縱深感，由此也就能更加突出人物主體了。
雖然帶來的視覺效果非常明顯，但是在細節上的表現還不夠強大。
由此，谷歌將常用於電影製作和攝影修圖的Alpha遮罩搬到了手機上，提出了一個全新的神經網路，名叫“Portrait matting”。
其中，主幹網路是MobileNetV3。
這是一個輕量級網路，特點是引數少、計算量小、推理時間短，在OCR、YOLO v3等任務上非常常見，具體結構長這樣：
然後再利用一個淺層網路和一系列殘差塊，來進一步提升Alpha遮罩的精細度。
其中，這個淺層網路更加依賴於低層特徵，由此可以得到高解析度的結構特徵，從而預測出每個畫素的Alpha透明度。
透過這種方式，模型能夠細化初始輸入時的Alpha遮罩，也就實現瞭如上細節到頭髮絲的摳圖效果。谷歌表示，神經網路Portrait matting可以使用Tensorflow Lite在Pixel 6 上執行。
此外，考慮到使用Alpha遮罩摳圖時，背光太強往往會導致細節處理不好。
谷歌使用了體積影片捕捉方案The Relightables來生成高質量的資料集。
這是谷歌在2019年提出的一個系統，由一個球形籠子組成，裝有331個可程式設計LED燈和大約100個用於捕獲體積影片的攝像機。
相比於一般的資料集，這種方法可以讓人物主體的光照情況與背景相匹配，由此也就能呈現更為逼真的效果。
而且這種方法還能滿足人像被放置在不同場景中時，光線變化的需求。
值得一提的，谷歌還在這一方法中使用了監督學習的策略。
這是因為神經網路在摳圖上的準確度和泛化能力還有待提升，而純人工標註的工作量又太大了。
所以，研究人員利用標記好的資料集來訓練神經網路，從而大量資料中來提高模型泛化能力。
One More Thing
用演算法來最佳化攝影效果，其實是谷歌的傳統藝能了。
比如Pixel 4中，就使用演算法來拍攝星空。
HDR+演算法更不必說，曾經引發過大眾熱議。
這一功能可以在相機啟動時、沒有按快門的情況下連續捕捉影象，並且會快取最近儲存的9張。這些照片將會與按下快門後的影象一併處理，最終得到一張最優的影象。
同時它還能讓Pixel在夜間模式下拍照時，不用像其他手機那樣長時間停留。
由於提升攝影效果不靠硬體，谷歌也將這些功能整合到一個APP上，適用於各種安卓手機。
感興趣的小夥伴，可以去試玩看看or分享自己的體驗~
參考連結：
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html
— 完 —
量子位 QbitAI · 頭條號簽約
關注我們，第一時間獲知前沿科技動態
