最近，歐卡智舶聯合世界領先的AI專家和深度學習先驅、圖靈獎得主Yoshua Bengio的Mila實驗室、清華大學、西北工業大學的研究人員，釋出城市水域漂浮垃圾檢測資料集。公開由歐卡智舶無人駕駛清潔船在多天氣條件、多城市水域中執行清潔工作時，船身感測器收集的多樣本水面漂浮垃圾形成FloW資料集 —全球第一個無人船視角的水面漂浮垃圾檢測資料集。透過發表FloW資料集，我們希望能引起人們對水域及內河漂浮垃圾汙染問題的關注，同時吸引更多研究者參與到無人船與水面漂浮垃圾檢測相關研究中來，為相關研究者提供一個平臺和基準，推動水面漂浮垃圾檢測技術快速發展。
資料集相關論文FloW: A Dataset and Benchmark for Floating Waste Detection in InlandWaters 已發表至 IEEE International Conference onComputer Vision 2021 (ICCV 2021)。
01視覺檢測系統的技術背景
近年來，愈發嚴重的海洋塑膠垃圾汙染引發人們對這一問題的關注。海洋垃圾給海洋生物的生存帶來較大威脅，造成的汙染隨著生態迴圈進而危害整個生態系統。有大量的海洋垃圾，來自於陸地，經過內陸河道，最終流入海洋。因此，清潔內陸水域，如運河、河流、湖泊和海灣環境中的漂浮垃圾，是減緩海洋垃圾增長、防治水汙染問題的重要方法。
海洋垃圾
內河垃圾堆集
傳統的內河垃圾清理往往依賴於人工打撈，這種方式往往效率較低，且水面人工作業還需要考慮安全性等問題，並非河道垃圾清理的最佳選擇。相比人工作業，近年來逐步發展的水面清潔無人船，可以實現全天候、自主化作業，同時可以在一些人工難以到達的危險區域進行作業，能有效地提升清潔效率。
TITAN清潔垃圾
人工撈垃圾
SMURF收集垃圾
無人船漂浮垃圾清潔效率依賴於準確、實時的漂浮垃圾檢測系統。隨著計算機視覺和深度學習的發展，視覺影象提供的資訊能被較為充分地利用起來。因此，基於視覺的漂浮垃圾檢測可能是目前最為經濟、高效的檢測方案。
02當前的技術問題？
然而，塑膠瓶和易拉罐等漂浮垃圾的體積較小，當其與平臺間的距離擴大時，大部分漂浮廢物佔據的影象面積會變得很小。對於基於深度神經網路的物體檢測，與大目標相比，小目標通常缺乏足夠的外觀資訊，無法提取其深度特徵，檢測難度會提升很多，難以將其與背景區分，也難以實現準確的定位。
除了“小”之外，複雜的內河場景環境，也給基於視覺的檢測方法帶來了挑戰。例如，河岸上物體的反射，水面的波浪，以及其他無害的漂浮物等會干擾視覺檢測系統，造成錯檢。同時，水面上的強烈反光造成的眩光，可能會遮蔽真實目標，造成漏檢。因此，在實際應用中，基於視覺的漂浮垃圾檢測仍面臨著諸多問題。
水面倒影干擾
待檢測目標較小
其他漂浮物干擾
水面反光干擾
基於單個視覺感測器的漂浮垃圾檢測面臨著環境帶來的諸多挑戰，而感測器融合則有利於提高自動駕駛系統的適應性。隨著毫米波電路技術的發展和訊號處理演算法的提升，77GHz毫米波雷達逐漸被應用於自動駕駛感知系統的目標檢測中。與相機相比，毫米波雷達對天氣和光照條件更為魯棒；此外，雷達資料還可以直接反映目標位置，且對RCS達到一定值的小目標，稍遠距離的探測相對視覺也更為穩定。對於漂浮垃圾檢測，毫米波雷達資料能為視覺檢測提供很好的補充。
03FloW資料集是什麼？
開放的資料集有利於推動相關研究的發展，同時也為不同方法效能的評估提供基準。目標檢測領域中的COCO和pascalVOC等資料集有效支援了基於視覺的目標檢測方案的發展。為了吸引人們對內河漂浮垃圾清理的關注，同時支援水面小目標檢測相關研究，我們採集併發布了FloW資料集 —— 全球第一個無人船視角的水面漂浮垃圾檢測資料集。
FloW資料集和其他垃圾檢測資料集的對比
FloW資料集由影象子資料集FloW-Img，和多模態子資料集FloW-Radar-Img(FloW-RI)組成。FloW-Img包含2000張影象和5271個標記目標，小目標（Area< 32*32）佔其中的一半以上。除了標註的影象，在FloW-Img中，我們還提供了200個未標註的影片序列，以支援對水面漂浮垃圾追蹤的相關研究。FloW-RI則包含4000幀的同步的影象和毫米波雷達資料，以支援基於融合的水面漂浮垃圾檢測相關研究。資料集採集於不同的光照和波浪條件下，在不同方向和視角上對目標進行觀測。
04FLoW資料集採集及標註
我們在無人船上，搭載了HDR相機與毫米波雷達進行資料採集，以平衡照明，以獲得更清晰的影象。HDR相機（AR0230）捕獲影象解析度為1280×720；毫米波雷達為TI 77GHz FMCW AWR1843雷達。在採集資料集的過程中，我們考慮到了場景、視角、光照條件等多樣性。
FloW資料採集平臺
對FloW-Img資料集，我們採集了10Hz影象資料，進而對其進行降取樣，並刪除模糊影象，得到最終的資料集。對FloW-RI資料集，我們同時採集了影象和毫米波雷達資料並進行了同步，在我們設計的雷達波形下，毫米波雷達資料距離解析度為0.0349m，最大感知距離為14.5m，速度解析度為0.03m/s，最大感知速度為4.10m/s，我們儲存了毫米波雷達資料中的距離-多普勒矩陣（RDM）和對應的毫米波雷達點雲。
對FloW-Img資料集，我們使用LabelImg工具進行標註。對FloW-RI資料集，由於RDM不像影象一樣可以直接反映目標的分佈，而是給出目標的距離和多普勒速度，RDM中難以進行資料的標註。在這種情況下，對於RDM的註釋，我們採取了以下步驟。
FloW-RI雷達RDM標註：在第一張影象中，RDM影象上的紅點標記了低CFAR閾值下的檢測結果；第二張影象顯示了投影在RGB影象上的解析出來的點雲，並對真實目標點進行了標註（由綠色框框）；最後一張影象中的紅點標記了最終的真實目標單元格。
首先，我們為RDM設定了一個相對較低的檢測閾值，並使用到達角（DOA）估計來生成四維雷達點雲；接著，利用相機和雷達之間的外參標定結果，我們將雷達點雲投影到影象平面上；而後，我們將所有點雲投影到影象上時，可以參照影象，對雷達點雲進行標註；最後，我們找到標註的雷達點雲對應的RDM中的單元格，該單元格則被視為RDM中真實目標單元格。
05FloW資料集資料情況
FloW-Img包含2000張影象，其中有5271個標記目標。我們隨機選擇1200張影象作為訓練集，其餘的作為測試集。FloW-Img資料分佈如下圖所示。可以看出，訓練和測試資料中不同大小目標的分佈較為近似。其中，小目標（size<32×32）在我們的資料集中所佔的比例最大。此外，FloW-Img資料集中還提供了200個沒有標註的影片段。可用於支援基於視覺的漂浮垃圾追蹤演算法的研究。FloW-RI資料集包含了來自21個序列的4000幀同步的影象和雷達RDM資料以及相應的雷達點雲，16段序列設定為訓練集，5段序列設定為測試集。
FloW資料分佈：每幀包含目標數以及目標占據的區域大小分佈
06基於FloW資料集的實驗及結論
我們在FloW-Img資料集上測試了6種基於視覺的目標檢測方法，每種方法在小目標（Area < 32*32）、中目標（32*32 < Area <96*96）、大目標（Area > 96*96）上檢測的PR曲線，以及每種方法檢測的FPS（GeForce GTX 1070 GPU）如下圖和表格所示。我們發現，除了目標的尺寸較小外，水面漂浮垃圾檢測還面臨幾個挑戰。首先，水面上的強烈的光反射會遮蔽目標；此外，岸邊物體的反射也會干擾檢測系統。在我們的資料集上，在上述演算法中，Cascade R-CNN在我們的資料集上的檢測精度上表現最好，魯棒性更強，然而，CascadeR-CNN檢測幀率較低，可能無法滿足水面目標檢測的實時性要求。
FloW-Img測試集上檢測結果PR曲線
FloW-Img資料集上各方法FPS
對於FloW-RI，我們分別基於影象、雷達資料，以及基於影象和雷達的融合進行了實驗。我們使用的方法、對應的資料型別、以及檢測結果如下方表格所示。
可以看出，當使用相同的檢測演算法時，雷達RDM的檢測效能優於影象，這表明，雷達資料在內河漂浮垃圾檢測方面具有較好的應用潛力。此外，還可以看出，基於融合的方法在一定程度上優於基於視覺的方法。然而，我們所使用的兩種開源的基於融合的方法，和其他影象-毫米波雷達融合檢測方法，主要針對道路駕駛場景中的物體檢測。我們認為，對於水面小目標檢測，基於影象-毫米波雷達融合的檢測方法上仍有值得去挖掘的提升。
07總結
FloW是全球第一個真實內河場景下、無人船視角的漂浮垃圾檢測資料集。FloW-Img子資料集中，超過一半的目標都是小目標（Area<32*32），可以支援針對水面小目標檢測的研究；而我們的FloW-RI子資料集則提供了視覺-毫米波雷達融合的目標檢測基準資料，有助於基於視覺-毫米波雷達的水面目標檢測方案的研究。透過發表FloW資料集，歐卡智舶希望進一步加快水面垃圾識別技術的發展，推動無人船行業快速發展，透過無人駕駛，讓水域更美好！
論文原文
FloW: A Dataset and Benchmark for Floating Waste Detection in Inland Waters.
論文原文連結
https://openaccess.thecvf.com/content/ICCV2021/html/Cheng_FloW_A_Dataset_and_Benchmark_for_Floating_Waste_Detection_in_ICCV_2021_paper.html
資料下載連結
http://www.orca-tech.cn/datasets/F
