近日，南方科技大學計算機科學與工程系助理教授餘劍嶠課題組在基於隱私計算的智慧交通領域取得一系列科研進展，其中兩篇論文於同一日被相關領域國際頂級期刊IEEE Internet of Things Journal接收。
保護隱私的交通模式識別是智慧交通系統的關鍵挑戰之一。隨著聯邦學習（Federated Learning）的興起，基於眾包的聯邦學習已經成為一個有具有成本效益的訓練解決方案，透過分散式的方法在不暴露使用者的資料隱私的情況下訓練強大的交通模式分類器。然而，現有的交通模式識別方法在很大程度上依賴於大量有標識的交通模式標籤，這在真實世界通常是難以實現的。雖然近年來眾多的半監督研究試圖透過給無標籤的資料分配偽標籤（PseudoLabel）來解決這個問題，但當涉及無標籤資料量較大時，這種做法往往會降低分類效能。
針對這個問題，餘劍嶠課題組發表在物聯網領域頂級期刊IEEE Internet of Things Journal上的文章以“Towards Crowdsourced Transportation Mode Identification: A Semi-Supervised Federated Learning Approach”為題，提出了一種用於交通模式識別的半監督聯邦學習方案（MTSSFL）。該方案包含一個新穎的半監督聯邦學習框架和一個基於叢集學習（EnsembleLearning）的深度神經網路，在不依賴於大量標記可用的資料的同時，實現了高準確度和隱私保護的眾包交通模式識別。
該演算法在聯邦學習的訓練中引入了一種一致性更新演算法（Consistency-updating），將全域性模型插入到只有未標註資料的區域性模型的梯度更新中，以改善其訓練效果。此外，其設計了一個新穎的引數聚合機制（Mean-teacher-averaging），其可以在不需要額外訓練的條件下進一步提高全域性模型的交通模式識別準確度。與傳統方法相比，該方案可以用較少的訓練開銷達到較高的準確性，同時也滿足聯邦學習的隱私保護的約束。
圖 1基於叢集學習的交通模式識別模型
圖 2半監督聯邦學習框架
該論文的第一作者為南科大計算機科學與工程系研究助理張晨涵，餘劍嶠為通訊作者，南科大計算機科學與工程系碩士生朱元紹，南科大與悉尼科技大學聯培博士生Christos Markos以及悉尼科技大學教授餘水為論文合作者。南科大為論文第一單位。
聯邦學習在大規模物聯網感測器資料的交通預測任務中被廣泛採用，因為其去中心化的特性使資料提供者的隱私得以保護。然而，當在聯邦學習系統中採用基於深度學習的交通預測器時，由於深度學習模型含有大量的引數，現有的聯邦學習框架在傳輸這些模型的引數更新時面臨著通訊開銷過大的問題。
課題組在物聯網領域頂級期刊IEEE Internet of Things Journal上發表了題為 “A Communication-Efficient Federated Learning Scheme for IoT-Based Traffic Forecasting”的論文，該論文提出了一個新穎且實用的聯邦學習方案（CTFed）來解決上述問題。所提出的方案採用了分而治之（Divide et Impera）的策略，根據透過預訓練和引數降維得到的客戶本地模型引數之間的相似性，將客戶進行聚類。其次，透過整合粒子群最佳化（ParticleSwarmOptimization）演算法，該方案設計了一個兩步法來更新本地模型。所提出的方案使得每個叢集中只需有一個有代表性的本地模型更新被上傳到中央伺服器，從而大大減少了聯邦學習中模型更新傳輸的通訊開銷。此外，該方案正交於主流的基於梯度壓縮或稀疏化的方法，因此可以進一步協作最佳化通訊開銷。
實驗結果表明，所提出的方案具有出色的訓練效率、準確的預測效能和對不穩定網路環境的穩健性。所提出的方案作為一個通用的分散式訓練方案，有望應用於解決其他研究和工業問題。
圖 3通訊高效的聯邦學習方案
該論文的第一作者為南科大計算機科學與工程系研究助理張晨涵，餘劍嶠為通訊作者，悉尼科技大學研究員崔磊以及悉尼科技大學教授餘水為論文合作者。南科大為論文第一單位.
論文連結：
1、 https://ieeexplore.ieee.org/document/9634121
2、https://ieeexplore.ieee.org/document/9632695
供稿：計算機科學與工程系
通訊員：潘偉英
主圖：丘妍
編輯：朱增光
