智東西（公眾號：zhidxcom）
作者 | 雲鵬
編輯 | 漠影
如果非要在當下旗艦智慧手機大戰中選一個最重要的比拼焦點，那大機率是拍照。
在iPhone帶火了智慧手機計算攝影浪潮後，經過十幾年發展，如今的旗艦手機拍照基本上可以說是“神仙打架”，普通人很難一眼看出照片之間的明顯差異。
也正因如此，廠商們開始在拍照方面尋找差異化打法，由於硬體方面旗艦機採用的多是三星、索尼等大廠的通用方案，所以廠商更多將尋求差異的重點放在了軟體演算法的最佳化上。
隨著AI在手機軟體演算法中的應用不斷加深，如何透過AI演算法讓一部手機上的多枚攝像頭實現良好的協同，實現“1+1+1>3”？成為了提升手機拍照效果的關鍵。
能夠利用算力對影像系統進行最佳化也是手機相比單反相機的核心優勢之一。
帶著這些思考，智東西與曠視研究院研究員範浩強進行了深入交流，對手機多攝背後的AI技術進行了深入挖掘，並探討了AI計算攝影的前路和未來。
一、拍好一張照片，真的需要這麼多攝像頭嗎？
從手機具備了拍照功能，能夠讓人們實現把一部相機揣在口袋裡之後，大家對於手機拍照能力的追求就從未停止。
而手機拍照也經歷了幾個大家記憶猶新的發展階段，從硬體效能單薄、單一依靠演算法提升畫質到手機攝像頭數量大幅提升的“堆料”時代。
今天，隨著手機空間的限制和晶片工藝技術的限制，手機拍照畫素數量和感測器尺寸的增速都在放緩，這就更加考驗廠商們如何在現有基礎上打磨出更好的成片效果。
廠商們的思路開始不再只是“如何讓一枚鏡頭變得很強”，而是“如何讓多枚鏡頭可以更好地協同起來”？
透過雙攝變焦我們可以實現更好的拍攝效果、利用雙攝虛化實現媲美單反相機的光圈效果、透過多攝融合有效提升圖片質量，都成為了多攝協同的典型應用。
1、拍照不是畫素越高越好，需要整個系統的搭配和組合
實際上，我們拍照中最常使用到的變焦、虛化、融合功能，都需要多枚攝像頭之間的協同，而AI演算法則成為了實現這種協同的關鍵。
在變焦方面，大家都知道拍攝不同的物件採用不同焦段可以獲得更好的效果，比如拍攝人物通常使用85mm-135mm焦段，而拍攝風景則可能用12-24mm焦段更佳。
因此單一鏡頭很難滿足這些需求，廣角、超廣角、長焦鏡頭這些不同焦段的鏡頭就可以更好地應對這些拍攝場景。
不過要知道，手機內部空間極其有限，手機攝像模組尺寸較小，還需要封裝很多硬體和系統，所以很難有與單反相同的光學結構，因此目前手機上的鏡頭大部分都是定焦鏡頭，只能在特定變焦節點上實現真正的光學變焦。
比如我們常見的2倍、3倍、5倍、10倍變焦，而在拍攝這些光學變焦節點之間焦段的畫面時，就需要透過“裁切”來實現，同時畫面還可能要跨越不同的鏡頭。
這時，要實現多枚不同焦段鏡頭之間更平滑的連續變焦，就需要演算法的加入。
通常來講，比如在拍攝1.5倍變焦時，演算法會將畫面中心區域替換為更加清晰的2倍長焦拍攝畫面，而四周則可以用1倍主攝的成像，將兩者結合起來，實現雙攝的融合。
範浩強也提出了一個很有意思的問題，如今主攝畫素越來越高，為什麼不可以直接透過主攝裁切實現變焦呢？
實際上，對於提升拍照效果來說，並不是單個鏡頭畫素越多，畫質越好，手機拍攝成像，需要整個系統的搭配和組合。
比如鏡片組的光學解析度、CMOS影象感測器的解析度和信噪比以及OIS的防抖效能和成片率都會綜合影像最後的成像效果。
如今大家一提到手機變焦拍照，總會感嘆蘋果iPhone不同鏡頭之間切換的順滑和畫面白平衡的一致性，其實在這背後，就是蘋果對於整個拍照系統眾多要素做到了很好的整合和平衡。
2、如何實現更好的虛化效果，深度資訊計算是關鍵
在人像拍攝或者一些靜物拍攝時，我們總是渴望更好的背景虛化效果，實際上這需要“大光圈”的加持，但由於物理上手機的尺寸存在瓶頸，所以廠商們就嘗試透過另一個思路，將不同攝像頭獲得的影象資訊結合起來實現更好的虛化效果。
這其中，主要利用了視差的原理。攝像頭之間存在距離，就會出現視差，視差也會給出物體深度的資訊線索。基於雙攝視差資訊的深度計算，我們就可以進行大光圈模擬，實現更好的物體拍攝背景虛化效果。
雖然視差越大，距離測量越精確，但視差過大也會讓多攝融合更困難。因此，找到合適的視差並輔以良好的演算法調教就成為了關鍵。
此時AI也就找到了自己的用武之地，在很多場景中，物體上會有很多複雜的細節，比如線條、毛髮、物體邊緣的複雜結構等等，這時利用AI演算法進行深度估計，就可以實現更精準的深度資訊計算。
透過樣張對比我們可以清楚地看到，藉助曠視基於AI深度學習的演算法，手機可以更好地識別出被攝物件與背景的深度資訊，從而實現更精準、更自然的虛化效果。
相比右邊，使用曠視AI演算法的手機拍出的風扇照片（左）成功識別出了扇葉這種複雜結構，獲得了更自然精準的虛化效果
除了變焦、虛化，透過多主攝之間的融合演算法，手機還可以拍出更加細膩和清晰的影象。比如很典型的應用就是透過彩色和黑白鏡頭的組合拍出更好的暗光環境照片。
二、拍照提升需要產業鏈合力，計算攝影進入AI深度學習時代
在這些出色拍照效果的背後，其實不是手機廠商一個人努力的結果，而是需要整個手機產業鏈的協同才能實現，這裡面，有CIS晶片廠商、鏡頭廠商、模組廠商還有硬體之外的軟體演算法提供者。
手機拍照演算法的調教，就需要這些玩家之間形成良好的配合，比如演算法廠商有怎樣的算力需求，什麼樣的硬體可以提供怎樣的效能、實現怎樣的演算法？
同時，不同的軟體演算法究竟能夠實現怎樣的拍照效果，都是需要與鏡頭、感測器、手機終端廠商深入協同的，需要實際測試才能證明自己的方案是否可行。
這也是為什麼很多手機廠商都會組建專門的影像團隊，與產業鏈上的各方進行更加深入的協同調教。
在範浩強看來，演算法是多個攝像頭之間聯動的紐帶，已經成為手機拍照能力至關重要的一環。
曠視自2016年起開始研發多攝技術，經過5年多的技術迭代和最佳化，如今AI多攝演算法已在多款主流安卓手機中實現技術應用落地，並且做到了業內的領先水平。
曠視將手機拍照的過程看作“光感知系統”，而他們也是率先提出用AI技術重新定義這一過程的廠商。
在他們看來，在融入AI後，光感知系統將從“硬體升級——演算法輔助——最佳化後期處理”這種相對流程化和獨立化的傳統運作方式轉變為軟硬體“一體化協同升級”。
基於這樣的理念，曠視將AI演算法與手機光學系統、感測系統結合，透過影象識別、融合、增強、分割等方式去進一步提升了手機的拍照能力和成像質量。
目前在影象對齊領域，曠視基於深度學習的演算法可以更好地算出畫面的深度資訊；而在影象降噪方面，他們的演算法能夠最大程度地在保留細節的同時提升信噪比。
曠視的多攝融合演算法採用神經網路設計模型，可以解決清晰度不均勻、主體邊緣線條彎曲、部分位置重影、線條斷裂錯位等傳統多攝融合演算法中的常見問題。
基於多年的技術積累和專案工程落地經驗，曠視的雙攝虛化、多攝平滑變焦、多攝融合等演算法已經具有了比較強的泛用性，可適配多種模組組合和排布方式，以應對更多終端廠商的需求。
範浩強說，當下基於AI計算攝影的手機拍照已經是光、電、算一體化的過程了，涉及光訊號、電訊號、AI計算等多個環節。
“攝像頭不是越多越好，也不是越大越好，重要的是要素之間的匹配。”
經過多年發展，如今手機影像技術的發展已經是軟硬體一體化同步推進的了，演算法和硬體要放在一起規劃考量，舉個很簡單的例子，如果脫離了演算法，一些攝像頭甚至就失去了存在的意義，比如黑白攝像頭，是很少有單獨使用的場景的。
而就當下來看，相比人眼的影象資訊獲取能力，手機拍照的提升空間依然巨大，可以說不論是硬體還是軟體都有很多瓶頸需要突破。
對於手機拍照的未來發展，曠視也進行了大膽的展望，他們認為手機拍照將會是AI驅動的影象獲取過程，從“所見即所得”到“所想即所得”。
也就是說，AI會判斷使用者的意圖，然後對感測器等硬體進行更好的控制、融合，從而實現使用者想要得到的畫面。
三、死磕AI視覺十年，多攝協同背後是硬核技術背書
在手機拍照領域，目前呈現一種趨勢，隨著演算法的不斷迭代成熟，越來越多的玩家都在佈局手機拍照演算法，甚至很多終端廠商希望將演算法掌握在自己手裡。
這就更加考驗演算法廠商如何在競爭激烈的市場中找到適合自己的玩法。
AI的加入讓影像系統的演算法之爭又上升到了一個更高的維度，而這也需要大量研發人員、大量研發資金的投入來慢慢打磨。
十年前，曠視進入了AI視覺這條賽道。從面部識別到AI計算攝影，他們一直在拓展自己在AI演算法領域的研究邊界。
目前曠視深耕計算攝影領域，在手機AI影像技術領域擁有多項專利，拿下了不少頭部智慧手機玩家的訂單。
在交流過程中，我瞭解到，其實這些AI深度學習演算法，之所以可以做到應對各種場景都得心應手，背後是基於龐大資料的反覆訓練以及演算法的不斷調教最佳化，需要演算法研究員付出大量的時間與精力。
當然，這背後離不開曠視自研AI生產力平臺Brain++的能力做支撐。除此之外，曠視搭建了自己的光學實驗室、圖卡實驗室等專業實驗室，進一步提升自己在手機AI影像領域的技術積累。
值得一提的是，曠視在策略上還與手機重點客戶進行深度繫結，深入挖掘每一個廠商的需求，從而找到機會。
實際上，每家終端廠商對於產品的設計和定位都是不同的，每一款手機的拍照要達到怎樣的程度，實現怎樣的拍照效果，都不盡相同。
尤其在當下，市場越來越垂直化，主打更加細分的人群，這也給演算法廠商們提供了更多的機會。
結語：AI多攝技術未來還有很大想象空間
在硬體趨同的大背景下，計算攝影仍然是手機廠商們需要死磕的一個命題，而AI在多攝協同領域的應用成為了當下比拼的一個突出焦點。
隨著拍照軟硬體系統整體的複雜度越來越高，透過深度學習神經網路找到最優引數的解法，其優勢逐漸突顯。在手機AI計算攝影這條路上，曠視找到了屬於自己的核心要訣。
毫無疑問，在手機拍照領域，軟硬體的協同還會進一步加深，而廠商們還會帶來怎樣有趣的玩法、提供怎樣新鮮的拍照體驗？都值得期待。
