對於非合作目標智慧分類任務，由於無法獲取足夠有效的樣本影象來訓練網路模型，使網路易陷入過擬合的情況，直接影響智慧演算法模型效能。因此，圍繞少量影象樣本開展高價值樣本資料擴增是遙感影象智慧處理領域的重點研究內容之一。現有樣本資料擴增方法包括基於影象變換的資料擴增方法、基於生成對抗網路的資料擴增方法與基於影象模擬的資料擴增方法。基於影象變換的資料擴增方法只是對原始資料進行基本二維幾何變換或灰度變化，難以實現立體目標探測、複雜場景的樣本型別擴增；基於生成對抗網路的資料擴增方法，訓練過程對非合作場景樣本資料數量和樣本型別要求較高，生成影象存在樣本模糊、扭曲等不足；基於影象模擬的資料擴增方法透過對目標場景開展建模及物理模擬，能夠製作生成多樣化環境與目標特徵的影象樣本資料，但現有將模擬樣本與真實樣本簡單混合的樣本構建模式，忽略了模擬樣本與真實樣本存在的誤差、風格差異及兩種資料集的特徵分佈差異，導致訓練生成智慧演算法模型效能提升有限。
中國科學院國家空間科學中心複雜航天系統電子資訊科技院重點實驗室研究員李立鋼團隊碩士研究生肖奇結合非合作目標智慧分類的應用場景，提出了一種漸進式的光學遙感目標高價值影象樣本資料擴增生成方法。該方法將整個資料擴增流程分為樣本模擬生成階段和風格遷移階段：在樣本模擬生成階段，基於物理模擬工具預先生成多樣化型別的目標模擬影象樣本，樣本型別覆蓋目標典型探測角度、探測能見度以及成像解析度等，這一階段的主要目的在於提高原始目標資料集的特徵豐富度；在風格遷移階段，透過構建風格遷移網路Sim2RealNet，Sim2RealNet以Densenet-121為主幹網路，能夠有效地提取模擬樣本和真實影象內容資訊和風格資訊，從而實現從模擬樣本到真實樣本的風格遷移處理，該階段的主要目的在於減少模擬樣本與真實樣本之間的域差異，整個資料擴增的處理流程如圖1所示。為了驗證該研究提出的方法有效性，科研人員針對六類目標開展了兩組光學遙感目標分類實驗，第一組分別利用傳統影象變換資料擴增、影象模擬資料擴增以及本文提出的漸進式資料擴增方法開展樣本擴增及分類模型訓練，具體分類結果如圖2所示；第二組對傳統影象變換資料擴增、影象模擬資料擴增以及本文提出的漸進式資料擴增方法進行組合樣本擴增及分類模型訓練，具體分類結果如圖3所示。第一組實驗結果表明，與現有資料擴增方法相比，該研究提出的方法能夠使得光學遙感目標分類準確度平均提高5%；第二組實驗結果表明，透過將本文提出的資料擴增方法與其他方法進行組合資料擴增，與單一使用現有方法擴增，光學遙感目標分類準確度仍可提高6%，表明本研究提出的漸進式資料擴增方法在使用上具有較強的魯棒性。
該理論研究成果為空間探測等非合作場景稀少樣本目標的資料擴增提供了新穎有效的方法。相關研究成果發表在IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing上。
圖1.本文提出的漸進式遙感目標資料擴增方法
圖2.對比試驗一：傳統影象變換資料擴增、影象模擬資料擴增與本文方法對比實驗結果
圖3.對比試驗二：傳統影象變換資料擴增、影象模擬資料擴增分別與本文方法聯合使用實驗結果
來源：中國科學院國家空間科學中心
