機器之心專欄
機器之心編輯部
近期，國際AI頂級會議 NeurIPS 2021 召開。清華大學朱文武教授實驗室 Meta_Learners 團隊在 NeurIPS 2021 舉辦的第二屆國際深度元學習挑戰賽（MetaDL Challenge）中奪得冠軍。該團隊在最終階段的五個資料集中以平均準確率超越第二名 17.5%（相對提升 22.3%）的優勢強勢摘得桂冠。
元學習（Meta Learning）作為機器學習邁向自動化的一個重要研究方向，已經得到了產學研各界的持續關注。元學習旨在讓機器學習演算法從已經學過的任務中總結學習經驗，提取「元」知識，來在遇到新場景、新任務時，讓演算法能夠僅利用少量的樣本就完成複雜的訓練過程，從而又快又好地適應未知場景。
為了進一步提升元學習演算法在實際場景中的應用效果，機器學習比賽平臺 ChaLearn 聯合微軟、谷歌等知名公司在各大人工智慧學術頂級會議舉辦 MetaDL 系列競賽。作為元學習領域的第二屆國際競賽，本次 NeurIPS 2021 MetaDL 挑戰賽吸引了國內外頂尖團隊的近五十支參賽隊伍。
官網地址：https://metalearning.chalearn.org/metadlneurips2021
本次比賽關注元學習系統面對不同領域、不同質量的資料、任務時的表現。具體地，比賽要求選手們提供一個元學習系統，該系統需要在兩小時、4 張 Tesla M60 顯示卡的環境中完成對已有任務的學習以及提取元知識，並在完全未知的 600 個影象分類任務（每個任務僅有 5 分類 x5 張 = 25 張標註圖片，需要完成額外 95 張圖片的標註）上完成快速學習和標籤預測。
此外，系統還需要在無人工調整的情況下適配包括生物、地質、病理、紋理、字元等不同領域的小樣本影象分類問題，具有極大的挑戰性。
具體來說，這次比賽具有以下兩個方面的挑戰：
- 資料層面，來自各領域的影象內容和特性不同，採集與處理的方法也各不相同，有些是電子顯微鏡成像照片，有些是衛星感測照片，有些是人工手寫字元，有些是家用攝像機拍照，這對元學習系統如何處理不同質量的輸入資訊提出挑戰；
- 演算法層面，不同領域的小樣本任務需要不同的元知識，對應的特徵提取演算法、超參、框架也大有不同，這對元學習演算法的泛化性和自適應能力提出巨大挑戰。
清華 Meta_Learners 團隊贏得冠軍
此前，清華大學朱文武教授實驗室的 Meta_Learners 團隊就已在相關深度元學習比賽中取得優異成績。在年初的AAAI 2021 國際首屆深度元學習挑戰賽（MetaDL Challenge）中，該團隊以高出第二名 13% 效能的成績強勢奪冠。
此次在 NeurIPS 2021 MetaDL 挑戰賽中，團隊延續了元學習領域的一貫優勢，並再次奪得第一名。
針對資料和演算法層面的挑戰，Meta_Learners 團隊採用多級解析度輸入設計、低質量資料增強、混合領域半監督弱監督混合訓練的方法來處理不同大小和質量的資料，解決資料層面的挑戰。
與此同時，他們採用半凍結模型引數更新與自動整合的方式來提取不同領域的元知識，解決演算法層面的挑戰。
該團隊提出的 MetaDelta++ 系統將向學術社群開源，為元學習演算法進一步的研究和推廣提供支援。
特徵層次豐富化
為應對不同質量的資料輸入，Meta_Learners 團隊採用變尺度模型輸入與資料增廣的方式來處理領域和內容不統一的問題，採用資料增廣來提升內容質量，從而提升模型特徵的分辨能力，並利用變尺度預訓練模型進行影象粗粒度與細粒度特徵提取，豐富特徵內容。
知識遷移高效化
為進一步增強 MetaDelta++ 對不同質量、不同領域影象資訊的捕捉能力，團隊採用多領域資料進行模型預訓練，將在不同領域得到的知識遷移到目標領域內，並透過微調高層語義層引數的方式實現對目標領域的自適應，透過知識與模型引數的對應性實現混合域與目標域知識的高效應用。
領域感知自動化
為進一步提升演算法的領域感知能力，MetaDelta++ 採用自動整合的方式來最終的模型整合，將投票、GBM、GLM、Bayes 等整合方法自動化，從而實現領域感知的自適應整合演算法。
團隊簡介
Meta_Learners 團隊成員包括計算機系碩士生關超宇與博士生陳虹，由關超宇擔任隊長，朱文武教授與王鑫助理教授擔任指導教師。
2021 清華大學特獎獲得者（研究生）、Meta_Learners 團隊隊長關超宇（左）；博士生陳虹（右）
清華大學計算機系朱文武教授（左）、王鑫助理教授（右）。圖源：leiphone
該團隊自 2015 年起開始佈局機器學習自動化方向的研究，已具備豐富的領域知識和深厚的技術積累，曾摘得 NeurIPS 2018 Lifelong-AutoML 比賽高校冠軍與 MetaDL 第一屆比賽冠軍。在本屆比賽上，該團隊再次以絕對領先的優勢衛冕 MetaDL 第二屆比賽冠軍。
隨著各界對元學習研究的進一步深入，該技術已經在多個領域展現了其重要價值，但當前元學習的關鍵技術發展與日益複雜的真實場景需求仍然存在較大的差距，具有廣闊的研究前景。Meta_Learners 團隊將著力解決元學習領域的核心問題，推動元學習在更多領域創造社會價值。
參考連結：https://www.cs.tsinghua.edu.cn/info/1088/4740.htm
