小心！牆面正在監視你！

我們可以透過鏡子看清物體，那如果沒有鏡子，只通過一面牆，大家能看到什麼？比如這樣：

圖源：參考文獻[1]

模模糊糊的好像有一個小球?

又或者這樣：

圖源：參考文獻[1]

紅彤彤的一片，什麼也看不清？

猜不出就對了！粗糙的牆面對物體的反射叫做漫反射。當螢幕上的光投射到牆面上時，光線會往各個方向反射，所以我們只能看到模糊的光影，很難辨別那究竟是什麼。

圖源：University of Waikato

有什麼方法能夠透過漫反射的光影，“看到”原始畫面嘛？

01

怎樣復原漫反射的光影？

2019年，波士頓大學的Charles Saunders，John Murray-Bruce等人就利用了AI演算法復原了漫反射影象。

圖源：參考文獻[1]

復原效果怎麼樣呢？我們來看看原圖。

圖源：參考文獻[1]

這簡直就是把牆面變成了一面鏡子，只不過這面鏡子，肉眼看不見。

這是怎麼做到的呢？首先，在房間中放置一塊顯示圖案的螢幕，使螢幕和牆壁相對。再在螢幕和牆壁之間增加一些遮擋物體，比如椅子、桌子。然後，用一臺攝像機對著牆面拍攝。

圖源：參考文獻[1]

靜態的遮擋物體好比一個定標物，它可以阻擋一部分光線到達牆壁。牆壁上的光影會隨著螢幕顯示的變化而變化，攝像機可以捕捉這些變化，生成一系列影象。

重構相機拍攝的影象，大致需要三個步驟：

1）對相機所拍攝的影象進行去交錯處理；

2）估計遮擋物位置；

3）對相機拍攝的影象和估計的遮擋位置進行計算，重建隱藏場景。

圖源：參考文獻[1]

這樣重構影象的方法叫做非視線法（non-line-of-sight）。

02

白牆也能監視人？

Charles Saunders等人對影象的重構依賴於已知的遮擋物或者可控光源。近期，MIT研究團隊的Prafull Sharma等人提出了一種更先進的非視線法，他們透過觀察房間中空白牆，便可推斷房間中人物的數量和具體活動。

實驗模擬了人物在房間內運動的場景，燈光透過多條路徑到達左側的牆壁。實際上，牆壁上形成的光影是沿著不同路徑反射的複雜混合光，包括來自光源本身的直接照明，場景中物體的反射光，以及經過多次反射的光。

圖源：參考文獻[2]

房間中，人物的移動會影響光路，產生新的相互反射，改變牆與場景其他部分之間的相互可見性，從而導致到達牆壁的光線發生微妙的時間變化。

研究者試圖用AI演算法去分析牆上的光影變化——將拍攝的白牆影片輸入至一個網路中，透過網路提取特徵，對影片中的人物數目和人物活動進行識別。

下圖展示了不同場景下，人物活動（無活動、蹲伏、步行、揮手、跳躍）時，網路提取到的水平和豎直軸上的特徵。

圖源：參考文獻[2]

人物步行的時候，訊號主要在水平軸上發生變化；人物做其他動作時，訊號在水平軸和豎直軸上都會有變化。比如，蹲伏的時候，時空圖一開始會出現與步行相似的特徵，然後運動特徵消失，這就表明蹲伏位置固定。揮手和跳躍的時候，水平和豎直軸上都會有快速的、重複的運動特徵。

雖然現階段的演算法僅可以識別5種人物活動，但是隨著技術的發展，白牆必然會告訴我們更多的資訊。試想一下，如果一輛汽車在路上行駛，此時突然一個小孩將要從巷子裡衝上車道，那麼利用這個AI技術，便可預知人物的出現，避免事故的發生。

抬頭看看屋內的牆，可能有人會擔心會不會暴露隱私。但其實，大家不用過於恐慌。這種非視線影象復原法僅存在於實驗室較為理想的條件下，想讓白牆真正變為一面鏡子，還有很長的路要走。

參考文獻

[1] SAUNDERS, Charles; MURRAY-BRUCE, John; GOYAL, Vivek K. Computational periscopy with an ordinary digital camera. Nature, 2019, 565.7740: 472-475.

[2] SHARMA, Prafull, et al. What You Can Learn by Staring at a Blank Wall. In: Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021. p. 2330-2339.

作者：陳瑞敏，上海市2021年度十佳科普使者，中國科學院上海技術物理研究所在讀博士。

編輯：小叮噹

鳴謝：中國科學院上海技術物理研究所 穆靖博士為本文提供科學稽核。

網路圖片版權歸原作者所有

文章為上海科技館所有

未經允許，禁止轉載

不代表中科院物理所立場

編輯：Paarthurnax