OPPO提出自監督深度估計算法，比肩有監督，泛化效能更佳

機器之心專欄

作者：OPPO TECH

室內環境的自監督深度估計向來比室外環境更具挑戰性，OPPO提出了一種新穎的單目自監督深度估計模型：MonoIndoor，透過深度因子化模組和殘差姿態估計模組，提高了室內環境中自監督單目深度估計的效能。目前，該成果已被ICCV 2021接收。ICCV是計算機視覺方向的三大頂級會議之一，今年論文接收率為25.9%。

根據單張影象估計深度資訊是計算機視覺領域的經典問題，也是一項具有挑戰的難題。由於單目影象的尺度不確定，傳統方法無法計算深度值。

隨著深度學習技術的發展，該正規化已經成為了估計單目影象的深度資訊的一種解決方案。早期的深度估計方法大多是有監督的，即要求資料集包含單目影象和對應的深度真值支撐網路模型訓練。

要想讓影象含深度真值非常困難，一般需要精密的深度測量裝置和移動平臺“捕獲”。因此，高昂的成本導致資料集的資料量較小，也意味著有監督學習的深度估計方式不適用於大規模的工業場景。

近日，OPPO提出了一種新穎的單目自監督深度估計模型：MonoIndoor。該方法能夠在訓練深度網路時僅使用影象本身作為監督資訊, 無需影象顯式的目標深度值，在降低對訓練資料集要求的同時, 提升了深度估計的適應性和魯棒性。目前，該成果已被ICCV 2021接收，相關技術已申請專利。

論文地址：https://arxiv.org/pdf/2107.12429.pdf

具體而言，該論文研究了更具挑戰性、場景更復雜的室內場景自監督深度估計，在三個公開資料集：EuRoC、NYUv2、7-Scenes上進行測試時，其效能優於Monodepth2等方法，達到了自監督深度估計領域內的最佳效能。

如何實現室內場景深度估計？

雖然對於自監督深度估計已經有了不少研究，其效能已經可以與有監督方法相媲美，但是這些自監督方法的效能評估要麼只在戶外進行，要麼在室內表現不佳。

對於原因，OPPO研究院的研究員認為：同戶外場景相比，室內場景通常缺少顯著的區域性或全域性視覺特徵。具體而言：

1. 室內場景景深變化劇烈，使得神經網路很難推演出一致的深度線索。

2. 室內場景下，相機運動通常會包含大量的旋轉，從而給相機姿態網路造成困難。

基於以上觀察，研究員提出兩個新的模組嘗試解決上述兩個困難。其中，深度因子化模組（Depth Factorization）旨在克服景深劇烈變化給深度估計造成的困難；殘差姿態估計模組（Residual Pose Estimation）能夠提高室內場景下相機旋轉的估計，進而提升深度質量。

圖注：MonoIndoor模型架構一覽

模型工作原理如上圖所示，深度因子化模組採用編解碼器的深度網路來估計相對深度圖，使用非區域性標度網路（non-local scale network）估計全域性標度因子（global scale factor）；殘差姿態估計模組用姿態網路估計一對幀的初始攝像機姿勢，然後根據初始姿勢，用殘差姿態網路迭代估計殘差相機姿勢。

模型架構之深度因子化模組

深度因子化模組的骨幹模型是Monodepth2，它的自動掩碼機制可以忽略那些在單目訓練中相對攝像機靜止的畫素；同時採用多尺度光度一致性損失，以輸入解析度執行所有影象取樣，減少了深度失真。

在Monodepth2的基礎上，研究員提出了自注意指導的標度迴歸網路（self-attention-guided scale regression network）對當前視點的全域性尺度因子進行估計。

標度網路作為深度因子化模組的另一個分支，其以彩色影象為輸入，全域性標度因子為輸出。由於全域性標度因子和影象區域性區域密切相關，研究員在網路中加入了自注意塊，以期指導網路更多地“關注”某資訊豐富的區域，從而推匯出深度因子。公式如下，給定影象特徵輸入，輸出為Query、鍵（key）、值（values）。

此外，為了穩定估計全域性標度因子，研究員還在網路中添加了機率標度迴歸頭（Probabilistic Scale Regression Head）。公式如下，全域性標度是每一標度的加權機率求和：

模型架構之殘差姿態估計模組

與已有方法在資料預處理過程中專注於“去除”或“減少”旋轉成分（rotational components）不同，OPPO研究員提出的殘差姿態估計模組，可以用迭代的方式學習目標和源影象之間的相對相機姿態。

圖注：一次姿態估計分解為兩次姿態估計的示例

第一步：姿態網路將目標影象和源影象作為輸入，並估計初始相機姿態。

第二步：用上述公式從源影象進行雙線性取樣，重建一個虛擬檢視。

第三步：利用殘差姿態網路，將目標影象和合成檢視作為輸入，並輸出殘差相機姿態（residual camera pose）。其中，殘差相機姿態指的是合成檢視和目標影象之間的相機姿態。

第四步，從合成影象進行雙線性取樣，公式如上↑。

最後，獲得新合成檢視之後，繼續估計下一個的殘差姿態。此時，雙線性取樣公式的一般化為↓：

多次估計之後，殘差姿態可以動態的寫為↓：

綜上，透過迭代法估計殘差姿態，能夠獲得更準確的相機姿態，更好的進行深度估計。具體實驗效果如下一部分所述。

效能評估

為了說明模型MonoIndoor的效果，研究員在EuRoC MAV、NYUv2、RGBD 7-Scenes三個權威資料集上進行了評估。採用業界通用的單目深度估計量化指標：絕對相對差（AbsRel）、均方根誤差（RMSE）；以及三個常用的閾值thr=1.25，1.25^2，1.25^3下的準確度。

具體到實驗配置，研究員使用PyTorch實現模型，每個實驗用Adam最佳化器訓練40個epochs，在前20個epochs學習率設定為10^-4,另外20個設定為10^-5；平滑項和consistency term分別設定為0.001和0.05。

實驗結果之EuRoC MAV

將Monodepth2作為基線模型進行對比，結果如上表所示，深度因子化模組能夠AbsRel從15.7%降低到14.9%；殘差姿態估計模組將AbsRel降低到14.1%，整個模型在所有評估指標中都實現了最佳效能。

透過上圖，我們可以定性的發現，MonoIndoor 做出的深度估計比Monoepth2要好得多。例如，在第一行中，MonoIndoor可以估計圖片右下角的“洞區域”的精確深度，而Monoepth2顯然無法估計。

實驗結果之NYUv2

MonoIndoor 與最新的SOTA監督和自監督方法效能對比結果如上表所示，在自監督方面，能夠在各項指標上達到最佳，在與有監督方法對比方面，也能夠“打敗”一組，從而縮小了自監督和有監督方法之間的差距。

上圖可視化了NYUv2上的深度估計效果。與Monoepth2的結果相比，MonoIndoor的深度估計更加接近真實情況。例如，第一行的第三列，MonoIndoor對椅子區域的深度估計更加精準。

實驗結果之RGB-D 7-Scenes

上表給出了MonoIndoor微調前與微調後在RGB-D 7-Scenes資料集上的測試結果，透過在各個場景給出的各個指標，顯示了MonoIndoor更好的泛化能力和魯棒性。例如，在場景“Fire”上，MonoIndoor減少了1.2%的AbsRel；在場景“Heads”上，MonoIndoor減少了1.8%的AbsRel。