當6億使用者習慣每天透過QQ傳送語音和進行視訊通話，或者在群裡與網友語音接龍完成一場Pia戲，又或是與好友一起派對語音答題的時候，大家可曾想過，在不同場景下始終清晰、流暢的QQ音影片體驗背後，到底是什麼黑科技在支撐這些場景中“聲”與“話”的美好？
今年11月16日召開的谷歌2021開發者大會期間，大會官網更新了一則案例——《TensorFlow助力：AI語音降噪打造QQ音視訊通話新體驗》，作者正是QQ音視訊通話技術團隊。作為谷歌TensorFlow的優秀應用案例，騰訊QQ團隊在該文中詳細揭秘了語音增強技術在QQ音影片功能中的研發與應用。
藉助TensorFlow，QQ搭建AI降噪模型訓練框架
在如今的應用市場中，音視訊通話功能幾乎已成為APP的標配。2021年10月份AppStore中國區下載榜前100名中，超過70%的APP配備音視訊通話功能。音影片功能的體驗，是衡量一款APP體驗是否優秀的重要指標。
而最佳化音視訊通話質量，降噪演算法是核心技術之一。
目前，主流降噪方案主要有傳統降噪和AI降噪兩種。傳統降噪方法計算量低，具有實時進行語音降噪的優勢，但與此同時，因其基於數學和物理原理進行推導，過程中難免基於人認知的理想先驗假設，這使得傳統降噪對實際場景中頻發的多種類、非平穩噪聲表現不佳。
AI 降噪是最近興起的基於資料驅動的降噪方法，能夠有效的應對各種突發的非平穩噪聲，但前期需要經過大量的資料訓練，以及搭建合適的資料模型作為基礎。而模型在移動端的部署，需要權衡模型大小、降噪效果、CPU 佔用率和記憶體佔用率等多個因素，由此給降噪技術的實現帶來了一定的挑戰。
為解決6億使用者對QQ音影片的龐大需求，騰訊QQ 團隊基於開源TensorFlow機器學習平臺，搭建了 AI 降噪與噪聲場景分類的並行訓練框架，並設計了音訊降噪、音質提升和模型最佳化演算法。
噪聲資料的多樣性是提高降噪模型泛化性的關鍵，因此，在訓練模型時，騰訊QQ團隊透過若干等時長音訊資料的“投餵”和場景訓練，結合合適的資料擴充，進一步提升了模型泛化能力，結合精細化設計的網路結構，能夠讓 AI 降噪模型適應生活中常見的幾百種噪聲，為使用者提供具有 AI 加持的智慧通訊體驗。
同時，騰訊QQ團隊還藉助 TensorFlow Lite 的量化功能減小模型尺寸，在模型的降噪效果基本不受影響的前提下，極大提升了效能優勢併成功部署到產品功能中。
AI 降噪演算法+蒸餾技術模型最佳化，打造實時、高質量的清晰通話體驗
在案例中，騰訊QQ團隊指出，AI降噪演算法包括音訊降噪模組和音質提升模組兩大方面。
音訊降噪模組主要是透過針對帶噪聲音訊中的乾淨人聲進行建模，再提取出帶噪音頻的頻域特徵，將帶噪聲音訊與乾淨音訊的的頻域特徵進行對比和計算，從而使AI對人聲之外常見的開門聲、鍵盤聲、走路聲等音訊具備更精準的識別能力和降噪處理，從嘈雜環境中剝離出乾淨語音。
在此基礎上，騰訊QQ團隊又加入了音質提升模組，以平衡降噪幅度，確保噪聲去除的更加乾淨，同時避免導致其它有用的音訊被消音，確保實時降噪過程中“有用的資訊都進來，無用的噪音都隔離”。
當代人生活更加多元，餐廳、咖啡館、車廂、影院以及街道、小區等不同場景，晴天、雨天、颱風天等不同天氣，也都伴生著不同種類的噪聲，也都有可能對使用者的音影片體驗帶來干擾。
為測試AI降噪面向不同場景的深度最佳化能力，騰訊QQ團隊還選取了辦公場景下常見的百種噪聲：鍵盤聲、關門聲、風扇聲等噪音，結合乾淨人聲按照 0dB、5dB、10dB 和 15dB 信噪比製作混合音訊，分別測試原始降噪模型以及採用蒸餾技術提升後的AI-Denoise-student模型的表現。
測試結果顯示，短時目標清晰度(STOI)與語音質量的感知評估（PESQ)均有所提升，並且隨著降噪量的提升，AI降噪效果的優勢還能進一步凸顯。
優質的社交功能體驗，往往藏在使用者“看不見”的地方
社交軟體幾乎佔據了當代人使用手機的大半時間，它不僅是人們日常交往中至關重要的工具，同時也緊密關係著使用者體驗與社交質量。
而在每一條文字或語音資訊的背後，在每一通音訊或視訊通話的背後，都有來自無數環節的技術支援,每一個環節的優劣，也都關係著使用者體驗的好壞——用一句比較流行的話來說，就是“用盡了全身力氣，才能顯得毫不費力”。
騰訊QQ團隊基於TensorFlow研發的降噪技術，能夠透過AI演算法帶來智慧的降噪功能和清晰、乾淨的音影片體驗，對於行業難點之一的音訊降噪同時保證音質效果，也有了針對性的最佳化方案，對語音質量和視訊通話帶來更好的技術保障。
騰訊QQ一直專注社交與溝通，致力於提供優質的社交體驗。許多音影片相關的功能如趣味變聲、語音暫停等功能都率先出現在QQ中。這些功能也受到了年輕人的普遍喜愛。據悉，騰訊QQ未來還將在AI基礎演算法、模型方面加強研究，拓展更多元的社交應用場景。
附錄：
TensorFlow 助力：AI 語音降噪打造 QQ 音視訊通話新體驗
https://mp.weixin.qq.com/s/F_QrRFPiEzG3rdyxU_nK2w
