Accepted for publication in the ISPRS Journal of Photogrammetry and Remote Sensing
論文地址:http://arxiv.org/pdf/2106.08107v2.pdf
現代光學衛星感測器能夠從空間進行高解析度的立體重建。但從太空觀察地球時,具有挑戰性的成像條件將立體匹配推向了極限。在實踐中,所得到的數字表面模型(DSMs)是相當嘈雜的,往往不能達到高解析度應用所需的精度,如三維城市建模。可以說,基於低級別的影象相似性的立體對應是不夠的,應該在基本的區域性光滑度之外,輔以關於預期表面幾何的先驗知識。為此,我們介紹了ResDepth,這是一個卷積神經網路,可以從例項資料中學習到這樣的表達性幾何先驗。ResDepth對初始的、原始的立體DSM進行細化,同時對影象進行細化的調節。也就是說,它作為一個智慧的、學習的後處理過濾器,可以無縫地補充任何立體匹配管道。在一系列的實驗中,我們發現所提出的方法在數量上和質量上都能持續改善立體DSM。我們表明,網路權重中的先驗編碼捕捉到了城市設計的有意義的幾何特徵,這些特徵也可以在不同的地區,甚至從一個城市到另一個城市進行推廣。此外,我們證明,透過對各種立體對的訓練,ResDepth可以獲得足夠程度的不變性,以應對成像條件和採集幾何的變化。