作者：朱小佩

編輯：好睏

【新智元導讀】眾所周知，列印一張圖揣身上就能騙過影象識別，那你知道如何才能騙過紅外識別麼？

在疫情期間，紅外行人識別系統被廣泛應用。

這得益於熱紅外識別的系統的兩個重要的優勢：

1. 對於溫度敏感，紅外影象的成像利用了物體的熱輻射，所以可以反映出物體的溫度，這一特性對於人體的非接觸式測溫具有重要的應用。

2. 紅外成像具有一定的「透視」特性，即使人體被一些衣物遮擋，但是熱輻射依然可以透過衣物被接收器感知到，所以可以透過遮擋進行成像。

儘管目前紅外行人檢測系統被廣泛使用，但是很少有人去關注該系統的安全隱患。

今年，來自清華大學的研究團隊就提出了一項基於小燈泡的物理攻擊方法。相關論文發表在AAAI2021會議上（Zhu et al. Fooling Thermal Infrared Pedestrian Detectors in Real World Using Small Bulbs）。相關技術已經申請國家發明專利。

以下就是一個例子，從圖中我們看到，持有小燈泡板子的人成功地逃避了檢測器的檢測，而持有空白板子和不帶任何東西的人卻被檢測器檢測到。

研究背景

近年來，對抗樣本的研究越來越引起人們的重視。在數字空間中，研究者發現，透過設計特定的噪聲，神經網路會以很高的置信度對影象進行了錯誤的分類，而且這種噪聲人眼不易察覺。更進一步地，人們發現對抗樣本也可以在現實世界中產生威脅。

例如，一個3D列印的烏龜，當其表面裝飾有對抗性的紋理之後，會被神經網路誤認為是一個來福槍。對抗樣本除了可以干擾分類模型，也可以干擾目標檢測模型，例如，一張打印出來的對抗性紙張，可以成功地欺騙目標檢測器YOLOv2，使得其檢測不到行人。

但目前幾乎所有的關於對抗樣本的研究都集中在可見光領域。而對於紅外領域的研究還處於空白階段。與可見光的影象（三通道）相比，紅外影象只有一個灰度通道，而且紅外影象的紋理資訊遠遠少於可見光的資訊。

另外，為了實現物理攻擊，紅外影象不能像可見光影象一樣，直接透過鐳射印表機列印到一張紙上。因此，如何在物理世界中顯示特定的圖案是一件困難的事情。

研究方法

既然不能用「列印」的方式實現熱影象，這時候作者另闢蹊徑。可否利用發熱物體本身的熱圖作為基本模組，然後去最佳化模組的位置。作者於是考察了多種電子元件，包括二極體，電阻等等。

最後發現了一個看似簡單卻十分好用的器件——小燈泡！因為小燈泡所成的熱紅外影象十分接近於一個二維高斯函式。

那麼這個猜想是否成立呢，作者對小燈泡的紅外影象進行了數學分析。

在拍攝了單個燈泡的紅外影象之後，嘗試用一個二維的高斯函式來建模和擬合。函式擬合後發現，二維高斯函式可以很好地擬合燈泡的紅外影象。

有了基本的單元之後，作者就想到，可以構建一個正方形的平面，平面上有多個符合二維高斯分佈的「光斑」，這些光斑的位置就可以是最佳化變數，透過最佳化，就有可能能找到一個具有對抗特性的圖案。

而這個圖案，恰好可以與物理世界一一對應，正方形平面對應於一塊板子，而數字世界的「光斑」，就是對應於物理世界中小燈泡的成像效果。

此時整個的最佳化流程就清晰了，首先在數字世界，首先構建一個帶有多個「光斑」的patch，將它「貼」到紅外資料集中的行人上面，同時作者也在數字世界模擬了物理世界的一些擾動，例如噪聲，亮度變化，平移，旋轉等等。這使得patch的魯棒性進一步提高。

最佳化的目標函式包括檢測器的物體置信度輸出以及patch光滑度的和。透過反向傳播來最佳化patch上「光斑」的位置，直到找到一個最優的圖案。

而當數字世界驗證好以後，就可以透過小燈泡將此圖案在物理世界中實現，從而達到在物理世界中攻擊紅外行人檢測器的目的。

實驗結果

思路明確了，那麼實驗的效果如何呢？

實驗結果表明，數字世界中基於二維高斯函式的patch可以成功地使得YOLOv3檢測器的AP (Average Precision) 降低了64.12%。

注意到與之對比的同樣大小的隨機噪聲patch和空白的patch僅使得檢測器效能分別降低了25.05%和29.69%。

下面給出了一個具體的例子，可以看到，在數字空間中作者設計的patch可以成功躲避行人檢測器。而與之對比的放有blank patch，random noise patch以及什麼都不放的人卻被檢測到了。

接下來作者進行了物理實驗。

以下左圖是實際製造出來的裝有小燈泡的板子，而右圖是這個板子的紅外熱影象與模擬的數字影象的對比。

作者招募了若干名志願者，在相同的環境下，測試最佳化後的小燈泡板子對紅外行人檢測器的對抗效果。對照組包含了使用空白的板子以及什麼都不帶的情況。

計算結果表明，在物理世界中，最佳化後的小燈泡板子可以使得YOLOv3檢測器的AP降低了34.48%，而同樣大小的空白板子僅僅使得檢測器的效能下降了14.91%。

以下給出了一組具體的例子，由圖中可以看到，在相同的條件下，使用了最佳化後的小燈泡板子的人沒有被YOLOv3檢測到，而持有空白板子以及什麼都不帶的人，被YOLOv3檢測到了。

這表明，經過最佳化後的小燈泡板子可以成功攻破紅外行人檢測器。

上文中作者都是針對YOLOv3檢測模型進行攻擊，那麼進一步的問題就是，生成的對抗樣本能否遷移到其他檢測模型上去。

一開始，作者採用了直接進行遷移攻擊的方式，結果確不如人意。實驗表明，透過YOLOv3模型生成的對抗patch直接遷移攻擊，僅使得Cascade RCNN和RetinaNet的AP分別降低了11.60%和25.86%。

這時候作者想到了黑盒攻擊的經典辦法，模型整合。簡而言之，就是整合多種模型來生成對抗樣本，這樣生成的對抗樣本，由於已經綜合了不同型別模型的資訊，所以具有更好的遷移到未知模型的能力。

作者在實驗中，集成了三種經典的目標檢測模型，包括YOLOv3，Faster-RCNN和Mask-RCNN。整合之後生成的對抗patch，可以使得Cascade-RCNN和RetinaNet的AP分別降低了35.28%和46.95%。

由此可見，整合攻擊的效果相比於直接遷移攻擊有了大幅度的提高。

總結和展望

本文首次提出了針對紅外行人檢測系統進行物理攻擊的方法。作者在數字世界中基於二維高斯函式構建對抗性的patch，並在物理世界中用小燈泡實現了對抗性的板子。

經過最佳化之後的對抗性板子可以成功地攻擊YOLOv3模型。作者進一步採用整合攻擊的方法，提高了對未知模型的遷移攻擊能力。該

研究揭示了目前廣泛使用的紅外目標檢測模型可能存在安全隱患，作者表示下一步的研究工作就是研究防禦對抗樣本的方法，這對於提升紅外行人檢測系統的安全性具有重要意義。

作者簡介

本文的第一作者是來自於清華大學積體電路學院2018級的直博生朱小佩。他目前的研究方向是計算機視覺、對抗樣本和目標檢測。

本文的通訊作者是清華大學積體電路學院的王喆垚教授和清華大學計算機系的胡曉林副教授。

參考資料：

https://arxiv.org/abs/2101.08154