本文轉載自京東探索研究院。
國際計算機視覺與模式識別會議（CVPR）是IEEE一年一度的學術性會議，是計算機視覺和模式識別領域的頂級會議。根據最新2021谷歌學術指標，CVPR在所有學術期刊和會議影響力排名中位居第4，僅次於Nature，NEJM和Science。會議有著較為嚴苛的錄用標準，整體的錄取率通常浮動於20%至30%，錄取論文代表了計算機視覺領域最新的科技水平以及未來發展潮流。
近日，CVPR 2022官方公佈了接收論文列表，本屆大會大約 2067 篇論文被接收，其中京東探索研究院共34篇論文被CVPR收錄，論文涵蓋包括目標檢測與識別、表徵學習、知識蒸餾、影象生成、文字語義識別等領域。以下為京東探索研究院本次入選論文的亮點介紹：
01
Recurrent Glimpse-based Decoder for Detection with Transformer
利用遞迴“瞥視”解碼器
最佳化基於Transformer的目標檢測演算法
近期，基於Transformer的目標檢測演算法得到了大量關注。這一類演算法透過建模全域性視覺資訊，能直接輸出圖片中出現物體的詳細位置和類別資訊。和傳統目標檢測演算法不同，此類演算法避免了額外的後處理過程，能高效高質量地進行目標檢測。然而，此類演算法往往需要極長的訓練週期來最佳化模型引數並確保其能正確地關注物體區域。這一缺點極大地阻礙了相關領域的發展。儘管一些近期的工作指出最佳化特徵表示或是改進模型結構能一定程度上緩解這一問題，我們發現有關可能包含物體的興趣區域（region-of-interest）資訊能直接、簡單、有效地幫助縮短需要的訓練週期。依此，在本文中，我們提出了一個利用遞迴“瞥視”解碼器的方法來利用興趣區域資訊，從而有效加速基於Transformer的目標檢測演算法。
具體來說，我們試圖模仿人類的視覺感知過程並藉助類似於“瞥視”的行為獲取有關物體位置的大致資訊，然後透過一個多階段遞迴的處理過程，幫助模型逐漸地聚焦到正確的物體區域，從而較大程度上降低模型進行目標檢測的難度，減少其所需的訓練週期。在每一個階段中，我們透過擴大物體興趣區域並提取其中的視覺資訊作為“瞥視”的實現，然後我們引入了一個視覺解碼器以解釋獲取到的“瞥視”資訊。我們基於視覺解碼器的輸出來產生本階段的目標檢測結果，這一結果之後被遞迴地送到下一階段的處理過程中，進而產生改善的目標檢測結果。
在大資料集實驗中，我們的方法可以被證明能減少30%左右當前最先進模型所需的訓練週期且不使得目標檢測準確率下降。在使用相同訓練週期的情況下，我們的方法也能進一步提升5%左右的檢測準確率。這些結果證明了我們提出的方法在基於Transformer的目標檢測演算法上的高效性，同時也展示出了我們的方法代表了本領域發展的最前沿成果。
02
ISNet: Shape Matters for Infrared Small Target Detection
考慮形狀的紅外小目標檢測網路
紅外小目標檢測（IRSTD）專門用於從模糊背景中提取小而微弱的目標，在交通管理和海上救援等場景中具有廣泛的應用。由於低信噪比和低對比度，紅外目標很容易淹沒在具有各種噪聲和雜波的背景中。如何檢測紅外目標的精確形狀資訊仍然非常具有挑戰性。在本文中，我們提出了一種新穎的考慮形狀的紅外小目標檢測網路ISNet，其中設計了受泰勒有限差分 (TFD) 啟發的邊緣模組和雙向注意力聚合 (TOAA) 模組來解決這個問題。
具體而言，受TFD啟發的邊緣模組聚合並增強了來自不同層次豐富的邊緣資訊，以提高目標與背景之間的對比度，也為提取具有數學解釋的形狀資訊奠定了基礎。TOAA 塊在行和列方向上透過注意力機制計算低層資訊，並將其與高層資訊融合，以捕獲目標的形狀特徵並抑制噪聲。此外，我們構建了一個新的基準，由 1000 個具有各種目標形狀、不同目標大小和豐富雜波背景的真實影象組成，並帶有準確的畫素級註釋，稱為 IRSTD-1k。在公共資料集和 IRSTD-1k 上的實驗證明了我們的方法優於具有代表性的最先進的 IRSTD 方法。資料集和程式碼將會公開。
03
Exploring Structure-aware Transformer over Interaction Proposals for Human-Object Interaction Detection
基於結構感知Transformer的人物互動檢測技術
最新的高效能人物互動(human-object interaction, HOI) 檢測技術深受基於 Transformer 的目標檢測器 (即 DETR) 的設計思想啟發。大多數這類方法利用基礎的 Transformer 架構，以單階段的方式將一組可學習/引數化的互動查詢 (queries) 直接對映為預測結果。然而，豐富的互動間和互動內結構資訊並沒有被充分利用。
在本工作中，我們設計了一種新型的基於 Transformer 的 HOI 檢測器，稱之為 STIP (Structure-aware Transformer over Interaction Proposals)。該設計將 HOI 集合預測過程分解為兩個階段，即首先生成互動提案 (proposals)，然後透過結構敏感的 Transformer 將非引數化的互動提案對映為 HOI 預測。其中，結構敏感的 Transformer 透過額外編碼互動間整體的語義結構，及單個互動內人與物的空間結構，從而增強 HOI 預測能力。我們在 V-COCO 和 HICO-DET 標準資料集進行了大量實驗，驗證了 STIP 的有效性，並獲得了目前最佳的 HOI 檢測效能。
04
Object Localization under Single Coarse Point Supervision
單粗點監督下的目標定位
基於點的目標定位（POL）任務因能在低成本的資料標註下追求高效能的目標感知而越來越受到關注。然而，點標註表示目標不可避免地會因標註者等諸多因素產生不一致的現象從而引入語義方差的問題。但是現有的 POL 方法嚴重依賴於將標註點限制為準確的關鍵點標註來降低語義方差，而這種標註在多尺度多類別的場景往往很難清晰定義甚至是不存在的。在本文中，我們提出了一種使用粗點標註的 POL 方法，將監督訊號從準確的關鍵點放鬆到隨意標註的落在目標上的點。
為此，我們提出了一種粗點修正的（CPR）方法，據我們所知，這是首次從演算法的角度減輕語義差異的嘗試。CPR 構造點包、選擇語義相關點並透過多例項學習 (MIL) 生成語義中心點。也就是說CPR 定義了一個弱監督的進化過程，保證了在粗點監督下依舊能夠訓練一個高效能的目標定位器。COCO、DOTA和我們提出的 SeaPerson 資料集上的實驗結果都驗證了 CPR 方法的有效性。資料集和程式碼將公佈在https://github.com/ucas-vg/TinyBenchmark 上。
05
Defensive Patches for Robust Recognition in thePhysical World
基於防禦性影象塊的魯棒的真實世界的識別方法
要在現實環境中執行，持續存在的噪聲會影響深度學習系統的魯棒性。基於資料的防禦方式無需修改模型，而是透過對輸入資料的增強來提高魯棒性，由於其在實踐中的可行性受到廣泛關注。然而，基於資料的防禦方式對各種噪聲的泛化能力較弱，在多個模型之間的可移植性也較弱。為了使模型更好地利用這些特徵來解決以上問題，由於魯棒識別依賴於區域性和全域性特徵，我們提出了一個防禦影象塊生成框架。
為了應對不同噪聲，我們首先在有限的區域性影象塊中引入一類特定的可識別模式，使得防禦影象塊能夠對特定的類保留更多的可識別特徵，從而使模型在噪聲下更好地識別。對於跨多個模型的可移植性，我們引導防禦影象塊捕捉類內更多的全域性特徵的關聯，從而啟用模型共享的全域性感知，以便於更好地在模型間進行傳遞。我們的防禦性影象塊簡單地附著在目標物體周圍，在實際應用中表現出了極大的魯棒性。廣泛的實驗表明，我們的防禦性影象塊的表現遠遠優於以往的方法。
06
DearKD: Data-Efficient Early Knowledge Distillation for Vision Transformers
基於早期知識蒸餾的
低資料依賴視覺Transformer
Transformer在視覺領域取得了巨大進展，然而卻需要巨大的資料量，因此我們針對視覺Transformer提出了一種早期知識蒸餾框架——DearKD，來提升其在不同資料量下的效能，降低對資料量的敏感度。DearKD包含兩個階段，在第一階段我們透過蒸餾卷積網路隱藏層與輸出層的知識使得Transformer學到卷積網路的歸納偏置降低網路的資料依賴性，在第二階段我們讓網路學習自身固有的歸納偏置以提升網路的最終效能。
此外，DearKD還可以被應用在極端的無資料場景下，在這個場景下，我們提出了邊界保持的多樣性損失函式以提升生成樣本的多樣性的同時保證樣本是真實性，使得樣本更貼近真實資料。我們在ImageNet全部與部分資料、無資料以及下游任務上均取得了SOTA的效能。
07
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning
基於無資料知識蒸餾的
聯邦學習全域性模型微調方法
聯邦學習是一種面向隱私保護的分散式學習正規化。資料異構是聯邦學習的主要挑戰之一，它會導致聯邦模型收斂速度變慢，效能下降。大多數現有方法僅透過限制客戶端中的本地模型更新來解決資料異構性挑戰，忽略了在伺服器端進行模型聚合導致的效能下降。在本文中，我們提出了一種無資料知識蒸餾方法(FedFTG)來微調服務端上的全域性模型，從而緩解直接進行模型聚合產生的效能下降問題。
具體地，FedFTG訓練一個生成器來擬合局部模型的輸入空間，並用它來將區域性模型的知識遷移到全域性模型。此外，我們提出了一種難樣本挖掘方案，從而在整個訓練過程中進行持續高效的知識蒸餾。更進一步，我們為每個客戶端設計個性化的標籤取樣和知識蒸餾機制，從而隱含地減輕了客戶之間的分佈差異帶來的影響，並最大限度地利用區域性模型知識。大量實驗表明，我們的FedFTG方法優於現有的聯邦學習方法，並且可以作為一個全域性模型增強模組提升FedAvg、FedProx、FedDyn和SCAFFOLD方法的效能。
08
Patch Slimming for Efficient Vision Transformers
高效視覺變形器的Patch裁剪
本文透過挖掘給定網路中冗餘的計算來提升視覺Transformer的效率。最近， Transformer 架構已經證明了它能夠在一系列計算機視覺任務上表現出出色的效能。然而，與卷積神經網路類似，視覺轉換器的巨大計算成本仍然是一個嚴峻的問題。考慮到注意力機制會逐層聚合不同的影象塊，我們提出了一種新穎的Patch裁剪演算法，該方法可以在自上而地丟棄無用的影象塊。
我們首先識別最後一層的有效影象塊，然後使用它們來指導前一層影象塊的選擇過程。對於每一層中的每一個影象塊最終輸出特徵的影響是相近的，影響較小的影象塊將被刪除。基於基準資料集的實驗結果表明，本文提出的方法可以顯著降低視覺Transformer的計算成本，而不會影響其效能。例如，ViT-Ti 模型的 FLOPs 可以減少 45% 以上，而 ImageNet 資料集上的 top-1 準確率僅下降 0.2%。
09
Stand-Alone Inter-Frame Attention in Video Models
獨立幀間注意力影片建模技術
如何捕捉影片的動態資訊是影片模型發展的關鍵。當下基於神經網路的影片模型主要透過兩種方式進行動態建模。其一是利用時空三維卷積或者是分解的時空三維卷積（空域卷積+時域卷積）對動作進行捕捉，另一種是在時域上利用自注意力機制進行動態建模。但這兩種技術都基於一個隱含的假設，那就是空間中的特徵在連續幀之間能夠很好地進行對準並完成聚合。但在現實情況中這種假設很難維持，特別是對於空間上形變比較大的動作而言。
所以，本工作從這點出發，設計一種可獨立使用的可變形幀間注意力機制（Stand-alone Inter-Frame Attention (SIFA)），利用對幀間動作形變的預估幫助區域性注意力的精確計算，從而提升模型對時空動作建模的效能。
具體而言，SIFA透過利用相鄰兩幀的差值資訊估計位移來重塑形變自注意力機制。如果將當前幀的每一個位置作為查詢項（query），那麼下一幀的該位置的領域區域性區域將被視作關鍵項/真值項（keys/values）。
其後，SIFA計算查詢項和關鍵項的相似度，作為自注意力權重，用於真值項的時域聚合。我們進一步將SIFA模組插入到卷積網路和Transformer網路中，得到SIFA-Net和SIFA-Transformer結構。在四個動作識別資料集上的大量實驗證明了SIFA-Net和SIFA-Transformer結構的優越性。更值得注意的是，SIFA-Transformer在Kinetics-400資料集上達到了83.1%的分類準確率。
10
BatchFormer: Learning to Explore Sample Relationships for Robust Representation Learning
BatchFormer: 基於樣本關係探索的表示學習
儘管深度神經網路取得了成功，但由於資料不平衡、零次分佈和域偏移等資料稀缺性問題，深度表示學習仍然存在許多挑戰。為了解決上述問題，人們設計了多種方法以普通的方式（即從輸入或損失函式的角度）探索樣本關係，沒有用探索深度神經網路的內部結構來用於學習樣本關係。受此啟發，我們提出讓深度神經網路本身能夠從每個mini-batch 學習樣本關係。
具體來說，我們提出了Batch Transformer 或 BatchFormer，然後將其應用於batch維度，以在訓練期間隱式探索樣本關係。透過這樣做，BatchFormer可以實現不同樣本的協作，例如，頭類樣本也可以有助於尾類的學習以進行長尾識別。此外，為了縮小訓練和測試之間的差距，我們在訓練期間共享有或沒有 BatchFormer 的分類器，因此可以在測試期間將其刪除。我們對十多個資料集進行了廣泛的實驗，所提出的方法在不同的資料稀缺應用上實現了顯著改進，包括長尾識別、組合零樣本學習、域泛化和對比學習。
11
Learning to Collaborate in Decentralized Learning of Personalized Models
基於個性化模型的去中心化的協作學習
學習使用者定製的計算機視覺任務的個性化模型具有挑戰性，因為每個邊緣裝置上可用的私有資料和計算能力有限。去中心化學習可以利用分佈在網路拓撲裝置上的影象來訓練全域性模型，而不是為了針對不同的任務訓練個性化模型或最佳化拓撲模型。此外，去中心化學習中用於聚合鄰居梯度資訊的混合權重對於個性化來說是次優的，因為它們不適應不同的節點/任務和學習階段。本文透過動態更新每個節點任務的權重來提升每個節點的效能，同時學習稀疏拓撲來降低通訊成本。
我們的第一種方法是“學習協作(L2C )”，它直接最佳化混合權重，以最小化每個節點在預定義的資料集上的區域性驗證損失。為了給新節點或任務生成混合權重，我們進一步提出了"meta-L2C "，透過比較兩個節點的模型來更新，學習一種注意力機制來自動分配混合權重。我們在不同的影象分類基準和實驗設定中評估這兩種方法，對獨立同分布（IID） /非IID去中心化學習和聯邦學習的經典方法和近期方法進行了深入的比較，證明了我們的方法在確定節點鄰居、學習稀疏拓撲，能以較低通訊和計算代價產生更好的個性化模型。
12
Source-Free Domain Adaptation via Distribution Estimation
透過分佈估計進行無源域適應
域適應旨在將從帶標籤的源域學到的知識遷移到資料分佈不同的無標註的目標域。然而，由於隱私保護政策，大多數現有方法所需的源域中的訓練資料通常在實際應用中不可用。最近，無源域適應（SFDA）引起了廣泛關注，它試圖在不使用源資料的情況下解決域適應問題。在這項工作中，我們提出了一個名為 SFDA-DE 的新框架，透過源分佈估計來解決 SFDA 任務。
首先，我們使用球形k-means聚類為目標資料生成魯棒的偽標籤，其初始類中心是預訓練模型分類器學習的權重向量（錨點）。此外，我們建議透過利用目標資料和相應的錨點來估計源域的類條件特徵分佈。最後，我們從估計的分佈中取樣替代特徵，並透過最小化對比適應損失函式來對齊兩個域。大量實驗表明，本文提出的方法優於需要大量源資料的傳統域適應方法，在多個域適應基準上達到了最先進的效能。
13
Learning to Learn and Remember Super Long Multi-Domain Task Sequence
應用於記憶超長多領域任務序列的元學習
災難性遺忘問題經常發生在輸入資料為非平穩序列的情況中。此問題不僅沒有被很好的探索過，並且它在序列化的領域（資料）的元學習問題（簡稱為“序列領域元學習”）中更加具有挑戰性。在這項工作中，我們提出了一種簡單而有效的學習方法，即元最佳化器，以緩解災難性遺忘問題。首先，我們將元最佳化器應用在叫做“領域感知元學習”的簡化的序列領域元學習設定中，其中領域標籤和決策邊界在學習過程中為已知的。
具體來說，我們動態的凍結網路，並考慮到在元學習訓練中領域的自然特性，使用提出的元最佳化器對其進行最佳化。此外，我們將元最佳化器拓展到更加普適的序列領域元學習設定中，即領域不可知元學習，其中領域標籤和決策邊界在學習過程中為未知的。對此，本文提出了一種叫做領域偏移檢測的技術，其在元最佳化器的輔助之下，能夠捕捉到潛在的領域變化。除此之外，所提出的元最佳化器用途多樣，能夠輕鬆的整合到一些已有的元學習演算法之中。最後，我們在一些具有挑戰性的大規模基準資料集上進行了詳實的實驗，證明了本文方法在真實世界的影象及文字任務上的有效性，並大幅度超越了已有的高效能方法。
14
Continual Learning with Lifelong Vision Transformer
基於Lifelong Vision Transformer的連續學習
連續學習演算法從不斷到來的資料流中訓練神經網路，以減輕災難性遺忘。然而，現有的方法都是基於卷積神經網路 (CNN) 併為其設計的，這些方法並沒有充分利用新出現的Vision Transformer的潛力。在本文中，我們提出了一種新穎的基於注意力的框架 Lifelong Vision Transformer (LVT)，以在連續學習中實現更好的穩定性-可塑性權衡。
具體來說，LVT中提出了一種任務間注意力機制，它隱式地吸收了先前任務的資訊，減緩了重要的注意力在先前任務和當前任務之間的漂移。LVT 設計了雙分類器結構，獨立注入新的表徵以避免對先前知識的干擾，並均衡地積累新舊知識以提升整體效能。此外，我們還開發了一種基於置信度的快取更新策略，以加深對先前任務的印象。廣泛的實驗結果表明，我們的方法在連續學習的基準資料集上以更少的引數實現了最先進的效能。
15
Directional Self-supervised Learning for Heavy Image Augmentations
面向強資料增廣的有向自監督學習方法
儘管各類強資料增廣策略被廣泛應用於提升有監督特徵學習任務的效能，但是隻有少數經過篩選的輕增廣策略有助於自監督影象特徵表示學習。本研究旨提出了一種可以適配各類強資料增強策略的有向自監督學習正規化（DSSL）。我們在弱資料增廣策略的檢視（SV）基礎上引入強增廣策略，生成與原始圖片的差異程度較SV更大的檢視（HV）。
傳統的自監督學習方法最大化同一圖片派生出的所有檢視對之間的相似度，而DSSL將同一圖片派生出的檢視定義為偏序集合（SV-SV, SV←HV） ，按照檢視之間的偏序關係構造非對稱損失函式來最佳化模型訓練。DSSL可以通過幾行程式碼輕鬆實現，並且對於目前流行的自監督學習框架高度靈活，包括SimCLR、Sim-Siam、BYOL、MoCo V2和Barlow Twins。在 CIFAR 和 ImageNet上的大量實驗結果表明，DSSL可以穩定地提升各類有監督學習框架的效能，併兼容更廣泛的資料增廣策略。
16
RU-Net: Regularized Unrolling Network for Scene Graph Generation
RU-Net：基於正則化展開的場景圖生成
場景圖生成（SGG）旨在檢測影象中的物體並預測每對物體之間的關係。現有的 SGG 方法通常存在兩個問題：1) 由於圖神經網路的訊息傳遞 (GMP) 模組對虛假（錯誤）的節點間聯絡比較敏感，導致物體表徵變得模稜兩可；2) 由於類別不均和標籤缺失，導致關係預測的多樣性降低。為了解決這兩個問題，我們在文章中提出了一個正則化展開網路（RU-Net）。
首先，我們從unrolling演算法的角度出發，研究了 GMP 與圖拉普拉斯去噪 (GLD) 之間的關係，推匯出GMP可以表述為 GLD 的求解器。基於這一證明，我們提出了一個基於unrolling的訊息傳遞模組，並引入了一個基於p-範數的圖正則化項來抑制節點之間的虛假連線。其次，我們提出了一個group（組）多樣性增強模組，透過秩最大化來提升關係預測的多樣性。大量實驗表明，RU-Net 在各種設定和指標下都是有效的。除此之外，RU-Net 在三個流行的資料庫：VG、VRD 和 OI 上達到了最高的效能。同時，程式碼將在 GitHub 上釋出。
17
Modeling Image Composition for Complex Scene Generation
複雜場景生成的影象解構建模
本文提出了一種新的（few-shot）Layout-to-Image的影象生成方法，該方法透過對複雜場景中各個物體之間的關係、每個物體內部的結構以及區域性紋理進行精確建模，從而實現了目前該任務上的最優結果。我們提出了一種新的模型，Transformer with Focal Attention (TwFA)，用於探索被壓縮成 Patch Token 的影象中 Object到Object、Object到Patch 以及 Patch到Patch 之間的依賴關係。
目前基於 CNN 和基於 Transformer 的生成模型分別在Pixel/Patch-Level和Object/Patch-Level存在建模糾纏的問題，與這些方法相比，所提出的 Focal Attention 僅關注具有空間相關性的 Token 來實現當前 Patch Token 的預測，從而在訓練過程中消除歧義。此外，所提出的 TwFA 大大提高了訓練期間的資料利用效率，因此基於預先訓練好的TwFA，我們第一個提出了少樣本複雜場景的生成策略。實驗結果表明，TwFA無論是在定量指標還是定性比較都顯著優於目前基於 CNN 和基於 Transformer 的方法。
18
HL-Net: Heterophily Learning Network for Scene Graph Generation
HL-Net: 基於異質性學習的場景圖生成
場景圖生成 (SGG) 旨在檢測影象中的物體，並預測物體之間的關係。現有的場景圖生成方法通常利用圖神經網路 (GNN) 來獲取物件/關係之間的上下文資訊。然而，儘管它們是有效的，但當前的 SGG 方法只假設場景圖是同質的，而忽略了異質性。因此，我們在文章中提出了一種新穎的異質性學習網路（HL-Net），從而全面探索場景圖中物件/關係之間的同質性和異質性。HL-Net 包括以下內容：
1）基於自適應重加權的Transformer模組，透過自適應地整合來自不同圖網路層的資訊，從而更好地學習物體之間的同質性和異質性；
2）關係特徵傳遞模組，透過考慮關係之間的異質性，有效地探索關係之間的聯絡，以細化關係表示；
3）基於異質感知的訊息傳遞模組，透過進一步區分物體/關係之間的異質性和同質性，從而促進改進圖中的訊息傳遞。我們透過對Visual Genome (VG) 和Open Images (OI)兩個公開資料集進行廣泛的實驗，結果證明了我們提出的 HL-Net 優於現有的方法。在VG 資料庫上，HL-Net在場景圖分類的任務上比第二好的方法效能高出2.1%；在 IO 資料集上的最終得分高出第二好的方法1.2%。同時，程式碼將在 GitHub 上釋出。
19
Learning Affinity from Attention: End-to-End Weakly-Supervised Semantic Segmentation with Transformers
從注意力中學習語義親和關係：
基於Transformer的端到端弱監督語義分割
基於影象級標註的端到端弱監督語義分割是一項非常具有挑戰性的任務。目前的方法主要基於卷積神經網路，無法準確建模全域性資訊，因此會導致初始偽標籤的物件區域不完整。在本文中，為了解決該問題，我們引入了Transformer結構，它自然地整合了全域性資訊，從而能生成更完整的初始偽標籤。
進一步的，受Transformer中的自注意力和語義關聯之間的內在一致性的啟發，我們提出了一個Affinity from Attention (AFA)模組來從Transformer中的多頭自注意力矩陣中學習畫素的語義關聯。然後利用學習到的語義關聯來細化初始偽標籤。此外，為了有效地匯出用於監督AFA模組的可靠標籤，並確保偽標籤的區域性一致性，我們設計了一個畫素自適應細化模組。該模組基於low-level影象外觀資訊來細化偽標籤。我們在VOC和COCO資料集上進行了實驗，取得了顯著優於最近方法的效果。
20
Memory-Augmented Non-Local Attention for Video Super-Resolution
基於記憶單元和全域性注意力機制的影片超解析度
本文提出了一種簡單有效的從低解析度影片恢復高保真和高解析度影片的方法。已有方法主要利用時域相鄰幀來輔助關鍵幀的超解析度，但由於在空間對齊相鄰影片幀難度較大，並且同為低解析度的相鄰影片幀可以提供的有用高頻資訊有限，現有影片超解析度效能受到了限制。針對這個問題，我們提出了一種跨幀注意力機制，可以在不進行顯式空間對齊相鄰幀的情況下進行影片超解析度，在包含較大運動的影片中展現出了出色的魯棒性。
另外，為了獲取輸入低解析度影片的之外的影象細節資訊，並對運動影片中資訊損失進行補償，我們提出了一種全新的記憶增強機制，以在網路訓練階段記憶通用的影片影象資訊，輔助測試過程中的影片超解析度。經過在多個有挑戰性的影片資料集進行大量的評估，與當前最先進的影片超解析度方法相比，我們的方法不僅具有顯著的效能提升，並且對不同型別的實際影片中有很好的通用性。
21
GMFlow: Learning Optical Flow via Global Matching
透過全域性匹配學習光流
基於深度學習的光流估計一直被使用代價體和卷積的迴歸框架所主導。這種框架本質上侷限於區域性相關性，因此很難應對光流領域長期存在的大運動這一挑戰。為緩解這一問題，當前的代表性演算法 RAFT 透過大量序列的迭代精細化來不斷提升其預測的效果，從而取得了出色的效能。但這種序列化的預測方式帶來了線性增加的推理時間。為了實現高效高精度的光流估計，我們將光流重新定義為一個全域性匹配問題從而徹底改造了主導的光流學習正規化。
具體地，我們提出了一個 GMFlow 框架，它由三個主要部分組成：用於特徵增強的 Transformer, 用於全域性特徵匹配的相關性和 softmax 層，以及一個用於光流傳播的自注意力層。此外，我們介紹了一個在高解析度複用 GMFlow 的精細化步驟來進一步提升效能。我們的新框架在具有相當挑戰性的 Sintel 資料集上取得了超越 32 次迭代精細化的 RAFT 的效能，同時只採用一次精細化並且速度更快，為高效高精度光流估計提供了新的可能性。我們的程式碼和模型將會公開於：https://github.com/haofeixu/gmflow
論文：https://arxiv.org/abs/2111.13680
22
Alleviating Semantics Distortion in Unsupervised Low-Level Image-to-Image Translation via Structure Consistency Constraint
利用結構一致性約束減輕無監督低層次影象轉換中的語義失真
無監督影象到影象（I2I）的翻譯旨在學習一個域對映函式，該函式可以在沒有配對資料的情況下保留輸入影象的語義。然而，由於源域和目標域中的底層語義分佈經常誤匹配，當前基於分佈匹配的方法在匹配分佈時可能會扭曲語義，導致輸入和翻譯影象之間的不一致，這就是所謂的語義失真問題。本文專注於低層次的 I2I 翻譯，其中影象的結構與其語義高度相關。
為了在沒有配對監督的情況下減輕此類翻譯任務中的語義失真，我們提出了一種新的 I2I 翻譯約束——結構一致性約束 (SCC)，透過減少翻譯過程中顏色變換的隨機性來提高影象結構的一致性。為了幫助更好地估計SCC和最大化SCC，我們提出了一種高效的互資訊的近似表示，稱為相對平方損失互資訊 (relative Squared-loss Mutual Information，rSMI)。我們的 SCC 可以輕鬆整合到大多數現有的翻譯模型中。在一系列關於低層次 I2I 翻譯任務的定量和定性的實驗中表明，使用 SCC 的翻譯模型在幾乎不增加額外計算和記憶體成本的情況下，顯著優於原始模型。
23
Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition
基於密度和深度分解的自增強非成對影象去霧
為了克服在合成數據集上訓練的去霧模型的過擬合問題，許多最近的方法試圖使用非成對資料進行訓練來提高模型的泛化能力。然而其中大多數方法僅僅簡單地遵循CycleGAN的思路構建去霧迴圈和上霧迴圈，卻忽略了現實世界中霧霾環境的物理特性，即霧霾對物體可見度的影響隨深度和霧氣密度而變化。在本文中，我們提出了一種自增強的影象去霧框架，稱為D4（Dehazing via Decomposing transmission map into Density and Depth），用於影象去霧和霧氣生成。
我們所提出的框架並非簡單地估計透射圖或清晰影象，而是聚焦於探索有霧影象和清晰影象中的散射係數和深度資訊。透過估計的場景深度，我們的方法能夠重新渲染具有不同厚度霧氣的有霧影象，並用於訓練去霧網路的資料增強。值得注意的是，整個訓練過程僅依靠非成對的有霧影象和清晰影象，成功地從單個模糊影象中恢復了散射係數、深度圖和清晰內容。綜合實驗表明，我們的方法在引數量和FLOP更少的情況下去霧效果優於最先進的非成對去霧方法。
24
Comprehending and Ordering Semantics for Image Captioning
基於語義理解與排序的影象描述
理解影象中豐富的語義並將其按照語序進行排列對於生成視覺相關且語言連貫的描述至關重要。現有的影象描述方法大多依賴一個預訓練的目標檢測器或者分類器來挖掘影象中的視覺語義，而往往忽略了這些語義之間的語序關係。我們在論文中提出了一個基於Transformer結構的新方案，稱為語義理解與排序網路（Comprehendingand Ordering Semantics Networks，COS-Net）。COS-Net新穎地將強化語義理解以及可學習語義排序過程整合到了一個統一網路中。
COS-Net先利用一個跨模態檢索模型來為每一張影象檢索相關的句子，然後這些句子中的詞語構成初始的語義線索，然後利用一個全新的語義理解器過濾不相關的語義線索，同時推測影象缺失的相關語義詞語並加入到語義線索。接著，語義線索中剩下的所有詞語會被輸入到一個語義排序器中，該排序器透過學習人類的語序習慣來為這些詞語進行自動排序。最後，排序後的語義詞語序列結合影象的視覺資訊用於生成影象描述。COS-Net在COCO資料集上能夠很明顯地超過現有的前沿演算法，在測試集上的CIDEr分數達到了141.1%。
25
Text-to-Image Synthesis based on Object-Guided Joint-Decoding Transformer
面向物件引導聯合解碼Transformer的文字到影象合成
面向物件的文字到影象合成常常以兩步方式生成自然語言描述的影象：首先使用文字生成場景佈局資訊，然後基於該佈局和文字合成相應的影象。在該任務中，生成符合語言描述的結果都不是簡單任務，並常會遇到處理過於複雜和錯誤傳播等問題。此外，目前如CogView和DALL-E等先進方法沒有考慮到場景佈局相關資訊，往往難以有效地細緻控制場景的合成以生成符合使用者偏好需求的影象。因此，基於Transformer結構，我們提出了一種物件引導的聯合解碼方法，能夠同時生成符合語言描述的影象和相應的場景佈局。
為了在Transformer中引入場景佈局資訊，我們構造了Layout-VQGAN來壓縮類別形式的場景佈局資訊，以生成佈局tokens並與影象tokens聯合描述場景。此外，考慮到在VQ-GAN的壓縮過程中可能會丟失影象細緻細節特徵及聯合Transformer生成能力受資源限制等問題，我們構建了一種基於仿射組合模組的文字細節增強模型，以改善文字相關的影象生成細節。實驗結果表明，我們的方法能夠使用文字生成高質量影象，並且能夠根據給定的場景佈局資訊生成相應的多樣化影象。
26
ART-Point: Improving Rotation Robustness of Point Cloud Classifiers via Adversarial Rotation
ART-Point:使用對抗旋轉提升點雲分類器的旋轉魯棒性
具有旋轉魯棒性的點雲分類器的研究受到了三維深度學習社群的廣泛關注。目前，大多數現有方法要麼使用旋轉不變描述符作為輸入，要麼嘗試設計旋轉等變網路。然而，由於這些方法對原始分類器或輸入空間的修改，所生成的旋轉穩健模型在乾淨對齊的資料集下的效能受損。在這項研究中，我們首次表明，點雲分類器的旋轉魯棒性也可以在不影響模型結構的基礎上，透過對抗訓練獲得，從而在旋轉資料集和乾淨資料集上具有更好的效能。
具體來說，我們提出的名為 ART-Point 的框架將點雲的旋轉視為一種攻擊，並透過尋找具有強攻擊性的旋轉樣本，並在該樣本上訓練分類器以提高旋轉魯棒性。我們提供了一種軸向旋轉攻擊，它使用預訓練模型的反向傳播梯度來有效地找到強攻擊性旋轉。為了避免模型對攻擊性輸入的過擬合，我們構建了旋轉池，利用樣本間對抗性旋轉的可轉移性來增加訓練資料的多樣性。此外，我們提出了一種快速的一步最佳化，以有效地達到最終的穩健模型。實驗表明，我們提出的旋轉攻擊在常見點雲模型上取得了很高的成功率，同時ART-Point 可用於大多數現有分類器以提高旋轉魯棒性，同時在乾淨的資料集上顯示出比最先進方法更好的效能。
27
Contrastive Boundary Learning for Point Cloud Segmentation
基於對比邊緣學習的點雲分割
點雲分割是理解3D環境的基礎。然而，目前的三維點雲分割方法對場景邊緣的分割效果較差，影響了整體分割效果。本文主要研究場景邊緣的分割問題。因此，我們首先探討在場景邊緣上評估分割效能的指標。為了解決在邊緣上的效能不理想的問題，我們提出了一種新的對比邊緣學習(Contrastive Boundary Learning)框架用於點雲分割。
具體而言，提出的CBL透過在多個尺度上藉助場景上下文對比點的表示，增強了跨邊緣點之間的特徵區分。透過在三種不同的基線方法上應用CBL，我們的實驗表明，CBL能夠不斷地改進不同的基線，並幫助它們在邊緣及整體上均實現了令人注目的效能。這些實驗結果證明了該方法的有效性和邊緣對三維點雲分割的重要性。程式碼和模型將在https://github.com/LiyaoTang/contrastBoundary上開源。
28
Bridged Transformer for Vision and Point Cloud 3D Object Detection
橋接影象-點雲的多模態三維檢測Transformer模型
三維檢測是計算機視覺領域的重要研究課題，在傳統的研究設定中常常基於三維點雲進行學習。最近，在三維檢測的研究中有一種利用多種來源輸入資料的趨勢，例如使用色彩影象來對點雲進行補充。然而，由於二維和三維表示具有異構的幾何結構，使得現成的神經網路模型難以被直接用於實現影象-點雲融合。
為此，我們提出了橋接Transformer(BrT)，一種用於三維檢測的端到端架構。BrT是一種簡單有效的方法，它可以同時從點雲和影象中學習識別三維和二維物體的檢測框。BrT的一個關鍵要素在於使用目標索引來橋接三維和二維特徵，這將不同資料來源的資料表示統一在一個Transformer中。我們採用了一種透過點到影象的投影實現特徵聚合，進一步加強了模態之間的相關性。實驗表明，在SUN RGB-D和ScanNetV2資料集上，BrT超過了已有的先進方法。
29
MLP-3D: A MLP-like 3D Architecture with Grouped Time Mixing
基於分組時域混合的三維多層感知機結構
目前基於自注意力機制或多層感知機的無卷積神經網路逐漸變得越來越流行，用以替代傳統的卷積神經網路。然而由於影片資料的內容多樣性與複雜性，簡單地將這類新型神經網路應用在影片識別上並不能取得很好的效果。所以本工作針對影片分類提出了一種新的三維多層感知機結構。該結構包含多個多層感知機模組，其中每一個模組包括一個跨不同元素之間的多層感知機與一個對每個元素獨立作用的多層感知機。透過引入分組時域混合操作，跨元素多層感知機被賦予了對時序序列進行建模的能力。
分組時域混合將不同元素根據時間分成不同的組合，並對每一組內的元素獨立進行對映，從而降低操作的複雜度。更進一步地，不同種類的分組時域混合操作透過網路結構搜尋的方式構成了最優的混合網路結構。在不使用卷積或自注意力機制的情況下，提出的三維多層感知機結構在標準資料集上超過了廣泛使用的三維卷積神經網路和影片Transformer，同時只需要更少的計算量。
30
Putting People in their Place: Monocular Regression of 3D People in Depth
單目人體3D重建及深度預測
對於任意一張包含多個人的影象，我們的任務是直接從中預測所有人的3D姿勢、形狀、以及他們的相對深度。然而，當缺少人體高度的先驗資訊時，從單張影象預測人與人的相對深度通常是模糊不準確的，尤其是場景中包含從嬰兒到成人不同身高並且緊密排列的多個人。
為了解決這個問題，首先，我們提出了一種基於鳥瞰圖（BEV，Bird's-Eye-View representation）的3D表徵方式，與以往基於影象平面的2D表徵不同，BEV 同時推理影象平面和深度方向的人體中心位置，由此形成相機空間中的人體3D位置。不同於現有的多階段演算法，BEV使用端到端可微分的單階段網路。其次，由於人的身高隨年齡變化，如果年齡未知，則無法準確解決影象中人的相對深度估計問題。
為此，我們設計了全年齡段的3D人體模型空間，BEV 能夠預測出從嬰兒到成人的全年齡段人體形狀。最後，為了有效訓練模型，我們構建了"Relative Human" (RH）資料集，標註了年齡、姿態、人與人的相對深度關係等豐富資訊。在RH 和 AGORA 資料集上的大量實驗結果表明，我們的演算法BEV 在深度預測、兒童3D形狀預測，以及遮擋等複雜場景下，都具有優越的效能。
31
Gait Recognition in theWild with Dense 3D Representations and A Benchmark
基於密集三維表徵的真實場景步態識別
現有步態識別研究主要關注於人體輪廓序列或關鍵點序列等二維特徵表達。然而，人們生活（行走）在三維空間中，將三維人體投影到二維平面會丟失許多步態識別所需的視角、體型和步態的動態資訊等關鍵資訊。
因此，本研究旨在探索真實場景下基於密集三維表徵的步態識別，這一具有實際應用價值卻被忽視的問題。我們提出一個探索3D人體骨骼蒙皮模型（3D Skinned Multi-Person Linear(SMPL) model）在步態識別上可行性的新框架，稱為SMPLGait。SMPLGait透過兩個精心設計的分支，分別從人體輪廓中提取外觀特徵，及從3D SMPL中學習三維視角和體型的先驗知識。此外，由於缺乏合適的資料集，我們構建了第一個基於三維表示的自然場景大規模步態識別資料集，名為Gait3D。它包含4000個行人物件和超過25000個步態序列。
Gait3D採集自一個無約束的真實室內場景中的39個攝像頭，提供了從影片幀中恢復的3D SMPL資料，可支援密集人體體型、三維視角和步態動態資訊的三維建模。此外，它還提供了二維人體輪廓和人體關鍵點資料，可幫助研究者們探索多模態步態識別。基於Gait3D，我們全面比較分析了本文提出的SMPLGait方法和現有步態識別方法，實驗結果不僅證明我們的方法具有更好的步態識別準確性，也顯示出三維特徵表示在真實場景的步態識別問題中的巨大潛力。
32
Learning Affordance Grounding from Exocentric Images
從第三人稱視角影象中學習物體可供性標定
可供性標定(affordance grounding)是定位物體上動作可能性區域的一種任務，由於存在多樣的互動從而導致難以與物體區域性區域建立顯式的聯絡。但是，人具有從多樣的第三人稱互動遷移到第一人稱下不變的可供性特徵來抵禦多樣的互動帶來的影響的能力。為了使得智慧體具有這樣的能力，本文提出了一個從第三人稱視角學習可供性標定的任務，即給定一張第三人稱視角的人-物體互動影象和一張第一人稱視角的物體影象，僅利用可供性標籤作為監督，從第三人稱視角的影象中學習可供性知識，並遷移到第一人稱視角中。
為此，我們提出了一個跨視角知識遷移框架，從第三人稱視角的互動中提取可供性相關的知識，並透過維持可供性的共生關係增強網路對可供性區域的感知能力。具體地，一個可供性不變特徵挖掘模組透過最大限度地減少第三人稱視角影象中由互動習慣所產生的類內差異來提取特定的線索。
此外，還提出了一種可供性共生關係保留策略透過對齊兩個視角預測結果之間的共生關係矩陣來感知和定位可供性區域。特別地，透過收集和標記了超過2萬張來自36個可供性類別的影象來構建了一個名為AGD20K的資料集。實驗結果表明，我們的方法在客觀指標和視覺質量上均優於其他代表性方法。
33
FIBA: Frequency-Injection based Backdoor Attack in Medical Image Analysis
FIBA：醫學影象分析領域中 基於頻域資訊注入的後門攻擊
近年來，人工智慧系統的安全性引起了越來越多的研究關注，特別是在醫學成像領域。為了開發安全的醫學影象分析(MIA)系統，對可能存在的後門攻擊(backdoor attack, BAs) 的研究不可缺少，這種攻擊可以在系統中嵌入隱藏的惡意後門。然而，由於醫學影象成像模式(如x線、CT和MRI影象)和分析任務(如分類、檢測和分割)的多樣性，設計一種適用於各種MIA系統的統一的後門攻擊方法頗具挑戰性。
現有的後門攻擊方法大多是針對自然影象分類模型進行攻擊，將時域觸發器直接應用於訓練影象，不可避免地會破壞受汙染影象部分畫素的語義，導致對密集預測模型的攻擊失敗。為了解決這個問題，我們提出了一種新的基於頻域資訊注入的後門攻擊方法(FIBA)，能夠在各種MIA任務中進行攻擊。
具體來說，FIBA設計了一個頻域觸發器，透過線性組合兩幅影象的頻譜振幅，將觸發影象的低頻資訊注入有毒影象。由於FIBA保留了受汙染影象畫素的語義，因此既可以對分類模型進行攻擊，也可以對密集預測模型進行攻擊。我們在醫學影象領域的三個基準上進行了實驗(用於面板病變分類的ISIC-2019資料集，用於腎臟腫瘤分割的KiTS-19資料集，以及用於內鏡偽像檢測的EAD-2019 資料集)，以驗證FIBA攻擊MIA模型的有效性以及其在繞過後門防禦方面的優勢。
34
Few-shot Backdoor Defense Using Shapley Estimation
基於夏普利估計的小樣本後門防禦
神經網路在諸多領域有著廣泛的應用，但已有研究表明神經網路容易遭受後門攻擊，造成潛在安全威脅，因此後門防禦是一個非常重要的問題。已有後門防禦工作通常需要較多訓練資料並剪除大量神經元，這些防禦演算法容易破壞網路原本結構並依賴於來網路微調操作。為了更高效準確地去除神經網路中的後門攻擊，我們提出一種基於Shapley value的ShapPruning後門去除演算法。
ShapPruning利用觸發器逆合成估計後門觸發器，並通過蒙特卡洛取樣以及epsilon-greedy演算法高效估計神經網路中各神經元與網路後門攻擊行為的關聯程度，從而準確定位後門感染神經元，進而更精準的指導後門去除。
相較於之前研究，我們的工作可以在每一類只有一張圖片的情況下去除後門攻擊，同時印證了後門攻擊只通過感染神經網路中極少數神經元（1%左右）實現網路操縱。同時，我們採用data-inverse的方法，從感染模型中恢復訓練資料，提出了一種無資料的混合模式ShapPruning演算法，實現了無資料的神經後門去除。我們的方法在資料缺乏情況下，在CIIFAR10, GTSRB, YouTubeFace等資料集上針對已有後門攻擊方式均取得了很好的效果。
