作者 | 劉燕

一文道盡「人工智慧的 2021 年」

本文是 “2021 InfoQ 年度技術盤點與展望” 系列文章之一，由 InfoQ 編輯部製作呈現，重點聚焦 AI 領域在 2021 年的重要進展、動態，希望能幫助你準確把握 2021 年 AI 領域的核心發展脈絡，在行業內始終保持足夠的技術敏銳度。

“InfoQ 年度技術盤點與展望”是 InfoQ 全年最重要的內容選題之一，將涵蓋架構、AI、大資料、大前端、雲計算、資料庫、中介軟體、作業系統、開源、程式語言十大領域，後續將聚合延展成專題、迷你書、直播周、合集頁面，在 InfoQ 媒體矩陣陸續放出，歡迎大家持續關注。

特此感謝何苗、侯軍、蔣宏飛、劉知遠、⻢澤君、吳韶華、許欣然、曾冠榮、張傑、張凱（按姓名首字母排序）對本文的貢獻，他們的真知灼見，是本文能與大家見面的關鍵。

即將過去的 2021 年，又是跌宕起伏的一年。

疫情仍沒有結束的苗頭，缺芯造成的供應鏈中斷此起彼伏，與此同時，數字化、智慧化轉型已是大勢所趨。全球企業和機構在不斷學會適應“新常態”，並從中捕捉新的商業機會。

2021年, 人工智慧領域依然熱潮洶湧。

AphaFold2 成功預測 98% 蛋白質結構，預訓練大模型迎來大爆發，自動駕駛邁入商業化試點探索新階段，元宇宙概念東風勁吹，首個關於 AI 倫理的全球協議透過，商湯科技即將摘得“AI 第一股”... 前沿技術突破令人欣喜，落地應用“潤物細無聲”般深入各行業，業界也開始正視人工智慧的問題和挑戰。

在歲末年初之際，InfoQ 採訪了眾多行業專家，回顧了 2021 年人工智慧大模型、深度學習框架、 NLP、智慧語音、自動駕駛、知識圖譜等各項 AI 技術的發展情況，並展望了未來一年可能的技術趨勢。

2021 年度 AI 技術突破

人工智慧預測蛋白質結構

12 月 15 日，Nature 釋出了《2021 年十大科學新聞》；12 月 17 日，Science 緊隨其後，公佈了《2021 年度十大科學突破》。Nature 和 Science 都將「人工智慧預測蛋白質結構」評為本年度最重要的發現，Science 更是將其列為“2021 年十大科學突破進展”之首。

長期以來，蛋白質結構的預測一直是生物學領域的研究熱點和難點。傳統的蛋白質結構探測方法主要有三種：X 射線晶體學、核磁共振和冷凍電鏡。但這些方法成本較高，研究週期漫長，且進展有限。

人工智慧為這一困擾生物學界數十年的難題按下了快進鍵。

今年 7 月，蛋白結構兩大 AI 預測演算法 —— DeepMind 的 AphaFold2 和華盛頓大學等機構研發的 RoseTTAFold 相繼開源。

AphaFold2“解鎖”98% 人類蛋白質組

7 月 16 日，DeepMind 在 Nature 發表 論文，宣佈已利用 Alpha Fold2 預測了 35 萬種蛋白質結構，涵蓋了 98.5% 的人類蛋白質組，及其他 20 種生物幾乎完整的蛋白質組。研究團隊還公佈了 AlphaFold2 的開原始碼和技術細節。

RoseTTAFold 可十分鐘內計算出蛋白質結構

同日，華盛頓大學蛋白設計研究所 David Baker 教授課題組及其他合作機構在 Science 上發表 論文 ，公佈了其開源蛋白質預測工具 RoseTTAFold 的研究結果。研究團隊探索了結合相關思想的網路架構，並透過三軌網路獲得了最佳效能。三軌網路產生的結構預測精度接近 CASP14 中的 DeepMind 團隊的 AlphaFold2，且速度更快、所需計算機處理能力更低。僅用一臺遊戲計算機，在短短十分鐘內就能可靠地計算出蛋白質結構。

其他研究進展

8 月，中國研究人員使用 Alpha Fold2 繪製了近 200 種與 DNA 結合的蛋白質結構圖。11 月，德國和美國的研究人員利用 Alpha Fold2 和冷凍電鏡繪製了核孔複合物的結構圖。12 月 22 日，深勢科技推出了蛋白結構預測工具 Uni-Fold，在國內首次復現谷歌 Alphafold2 全規模訓練並開源訓練、推理程式碼。

AI 技術 2021 年發展總結與展望

人工智慧邁向“煉大模型”階段

今年是超大規模預訓練模型的爆發之年。

去年，GPT-3 橫空出世，這個具有 1750 億引數規模的預訓練模型所表現出來的零樣本與小樣本學習能力重新整理了人們的認知，也引爆了 2021 年 AI 大模型研究的熱潮。

谷歌、微軟、英偉達、智源人工智慧研究院、阿里、百度、浪潮等國內外科技巨頭和機構紛紛展開大模型研究和探索。

超大規模預訓練模型的“軍備競賽”

2021 年 1 月，Google 推出的 Switch Transformer 模型以高達 1.6 萬億的引數量打破了 GPT-3 作為最大 AI 模型的統治地位，成為史上首個萬億級語言模型。

國內研究機構也不甘示弱。今年 6 月，北京智源人工智慧研究院釋出了超大規模智慧模型“悟道 2.0”，達到 1.75 萬億引數，超過 Switch Transformer 成為全球最大的預訓練模型。

值得一提的是，今年國產化大模型研發工作進展飛速，華為、浪潮、阿里、百度等都發布了自研的大模型。

浪潮人工智慧研究院首席研究員吳韶華向 InfoQ 表示，現在業界提高模型引數量有兩種技術路線，產生兩種不同的模型結構，一種是單體模型，一種是混合模型。如浪潮的源大模型，華為的盤古大模型、百度的文心大模型、英偉達聯合微軟釋出的自然語言生成模型 MT-NLG 等走的都是單體模型路線；而智源的悟道模型、阿里 M6 等走的是混合模型路線。

預訓練模型技術新進展

OPPO 小布智慧中心、 NLP 演算法工程師曾冠榮認為，預訓練模型在今年取得的重要技術進展有：

• 知識表示和學習機理進一步創新突破

隨著對預訓練模型的深入理解，預訓練模型的知識學習和表徵的機理逐步明確，人們得以更加順利地往模型裡注入需要其學習的知識，在這些知識的加持下，對複雜任務的應對能力得到了大幅提升。

• 對比學習、自監督和知識增強

以對比學習為中心，多種增強方法為工具的方式能進一步提升預訓練模型的語義理解和表徵能力，增強方法的深入讓模型自監督成為可能，讓對比學習對樣本，尤其是正樣本的依賴降低，資料依賴的降低勢必讓模型對少樣本甚至無樣本任務的適應性提升，模型能更好地完成這型別的任務，這將讓預訓練模型落地的成本再降低一個層次。

降低 AI 規模化落地的門檻

預訓練大模型降低了 AI 應用的門檻，解決了 AI 應用的兩個難題：資料和行業知識。它既不需要大量的標註資料，又保障了基礎底座。

在預訓練模型的業務定製最佳化和應用方面，曾冠榮認為，從第一個預訓練語言模型 BERT 釋出至今，已在多個熱門任務下得到應用，逐步從一種“潮流”變成前沿技術的“基本操作”，如預訓練模型已成為機器翻譯領域的基礎關鍵性技術。此外，預訓練模型也成為大系統中的一部分，發揮著其語義理解的優勢。

無論是業界還是科研，對預訓練模型的使用方式逐漸靈活，能從預訓練模型中拆解出適合任務的部分並組裝到自己的實際任務模型中。

時至今日，對預訓練大模型的效能最佳化仍未終止，在學界，仍有大量的研究在預訓練模型的落地能力上努力，壓縮、剪枝、蒸餾的工作仍起到重要作用。不止於演算法本身，編譯、引擎、硬體等方面的最佳化也在大步邁進。

小結和展望

吳韶華認為，整體而言，現在大規模預訓練模型的研究，包括模型結構的演進和落地仍處在探索階段，各家的持續探索正在不斷擴大對大規模預訓練模型的認知邊界。

“大規模預訓練模型是人工智慧的最新技術高地，是對海量資料、高效能計算和學習理論原始創新的全方位考驗”，清華大學教授、智源大模型技術委員會成員劉知遠在接受 InfoQ 採訪時展望了明年大模型的發展趨勢。

劉知遠表示，他明年將重點關注兩個層面的問題：

一是人工智慧技術正呈現“大一統”趨勢，如預訓練模型在 Prompt Tuning 等技術的支援下可用於很多不同的任務，再如 Transformer 模型框架正在從自然語言處理擴充套件到計算機視覺模態，接下來我們也許會看到更多的從框架、模型和任務等方面推進人工智慧技術趨向統一的工作 ; 另一個問題是，隨著預訓練模型規模增大，如何更好更高效地實現任務適配和推理計算，將是讓大模型飛入千家萬戶的重要技術。

國產深度學習框架不再是“技術的跟隨者”

過去十年湧現了大量的 AI 演算法和應用，這背後都離不開開源深度學習框架提供的支援。

開源深度學習框架是 AI 演算法研發和 AI 應用落地的“腳手架”，幫助 AI 研究員和開發者大幅降低演算法研發門檻，提升研發效率。

IDC 的調研顯示，中國人工智慧領域 90% 以上的產品都使用了開源的框架、庫或者其他工具包。

新進展，新趨勢

深度學習框架的發展核心是跟隨著深度學習領域的發展而前進的。

開源深度學習框架曠視天元 MegEngine 研發負責人許欣然在接受 InfoQ 採訪時，分享了過去這一年他所觀察到的深度學習的新進展：

（1）以 ViT、Swin 為代表的 Transformer 類模型開始向 NLP 以外的領域進軍，在更多場景中展現威力，讓“大”模型的趨勢愈演愈烈。

相應的，深度學習框架也在訓練大模型方面進展頗多（如 DeepSpeed+ZeRO），多種混合並行方案層出不窮。無論是深度學習框架還是硬體廠商，都在思考 Transformer 是否是會長期固定的計算 pattern。

（2）A100 這類顯示卡的誕生，催生了一股從動態圖回到靜態圖的趨勢。本身對動態圖更友好的框架也紛紛嘗試透過編譯的方式提升效率，比如 PyTorch 的 LazyTensor、Jax 的 XLA。很多國產框架也在嘗試透過動靜結合的方式提升效率，比如曠視天元 MegEngine 推出的 Tensor Interpreter、MindSpore 的 Python 程式碼轉靜態圖的方案等。

此外，MLIR 和 TVM 這兩個深度學習編譯器領域的燈塔都在快速增長，如何靠機器做好編譯也正成為各個深度學習框架研發的主要方向。同時隨著深度學習方法的持續發展，也誕生了更多的新興框架，如圖神經網路領域的 DGL。

技術自立之路

近兩年，國產深度學習框架陸續開源且發展迅速，逐漸在開源框架市場佔有一席之地。

在技術研發方面，國產框架不再是技術的“跟隨者”的角色，研發出了很多領先的創新點，比如 MegEngine 的 DTR 技術、OneFlow 的 SBP 並行方案和 MindSpore 的 AKG 等等。此外，在功能、程式碼質量和文件等方面都達到了很高的水準。

在開源生態建設方面，各家也都持續投入，透過開源社群扶植、產學研合作等方式，助力國產開源生態的發展和人才培養。

業界現有的主流深度學習框架多來自國外大廠，目前，國內企業自研的深度學習框架還沒有哪一款進階成為國際主流的學習框架。

許欣然坦言，國產深度學習框架在生態建設上還有很長的路要走，既需要持續投入、不斷完善生態建設，也需要找到差異化的技術競爭點，充分結合我國國情和國產硬體，發揮好自身的技術優勢和更好的生態洞察力。

研發難點

現階段，在深度學習框架方面，業界普遍面臨的研發難點主要體現在以下三個方面：

（1）在訓練側，NPU 開始入場，不少廠商已經做出自己的訓練晶片，如何高效對接訓練 NPU 仍待解決；

（2）學術研究發展迅速，框架技術需要持續跟進，這為框架研發帶來了一定挑戰。接下來一段時間會持續一段大 Transformer 的趨勢，那麼，下一個趨勢是什麼？

（3）算力提升速度更多地開始依賴 DSA 硬體，只是單純的手寫 kernel 已難以支撐，框架需要更多的編譯技術、domain knowledge 才能不斷提升訓練效率。隨著 NPU、GPU 等晶片的快速迭代，包括 MLIR、XLA、TVM 在內的編譯技術將受到更多關注。

將更好地支援大模型訓練

隨著大模型的持續火熱，預期深度學習框架將在並行策略、重計算等能力上不斷提升，以更好地支援大模型的訓練。

同時，目前訓練大模型仍需消耗大量資源，如何依靠深度學習框架的力量節省計算資源，甚至在更小規模上完成任務，將是一個值得探索的技術方向。

智慧語音這一年：技術突破不斷，工業落地加速

語⾳領域的⼤規模預訓練模型層出不窮

位元組跳動 AILAB 語⾳技術總監⻢澤君向 InfoQ 表示，2021 年度，智慧語音技術的演進呈現出三個層面的趨勢：

（1）基礎建模技術在打破領域邊界加速融合，如 Transformer 系列模型在⾃然語⾔、視覺和語⾳領域都展現出⼀致性的優勢，頗有“⼀統江湖”的意思。

（2) 超⼤規模⾃監督學習技術（self-supervised learning）在上述多個領域展現出很強的通⽤學習能⼒，即在海量⽆標籤資料上訓練⼤規模通⽤預訓練模型，然後⽤少量有標籤資料做精細調整就能取得⾮常好的效果。

過去⼀年裡，基於這種兩段訓練模式的超⼤模型不斷重新整理各項學術演算法競賽紀錄，在⼯業界也成為⼀種模型訓練和調優正規化。

最近⼀年，Facebook、亞⻢遜、⾕歌和微軟等公司的研究學者陸續提出語⾳領域的⼤規模預訓練模型， 如 Wav2vec、 HuBERT、 DecoAR、 BigSSL、WavLM 等。

（3）除基礎技術外，在不同應⽤場合場景下，多個領域模態的技術也在快速相互融合，形成視覺、語⾳和語義結合的多模態綜合系統，如虛擬數字⼈。

工業界落地加速

整體來說，智慧語⾳技術在⼯業界的落地不斷加速，來⾃業務和技術兩個⽅向的合⼒共同作⽤牽引和驅動應⽤落地。

從應⽤場景的牽引看，⼀⽅⾯如短中⻓影片業務，在全球仍保持著較⾼的增⻓速度，影片內容創作者和內容消費者活躍度很⾼；另⼀⽅⾯，疫情令居家辦公和遠端協作的需求增⻓，智慧語⾳技術能在視訊會議中提供通訊增強和語⾳識別等關鍵能⼒，為參會者提供更佳的會議體驗；以智慧汽⻋和虛擬現實 VR/AR 為代表的新場景不斷出現，需要更⽅便、更低延遲、更沉浸式的語⾳互動體驗。

從核⼼技術的驅動看，基礎模型改進和⾃監督技術不斷提升著模型效能上限，同時多模態技術融合使得技術⽅案的能⼒越來越強，可⽀持更復雜的場景並帶來更好的體驗。

商業化難點主要在於商業模式選擇

馬澤君認為，現階段，智慧語音商業化的難點主要是商業模式探索和路線選擇的問題，具體包括如何更好地滿⾜需求，控制成本以及保證交付質量。

⼀⽅⾯，AI 商業模式探索需要始終圍繞需求展開，提升模型效果和在真實場景中解決使用者或客戶的問題不能等同。解決實際問題需要 AI 研發⼈員深⼊業務場景，理解需求和條件限制，找到合理的產品技術⽅案，並不斷思考和抽象功能和技術，沉澱通⽤的技術解決⽅案，探索驗證可規模化的標準產品，降低定製週期和代價。

另⼀⽅⾯，AI 技術研發成本⾮常⾼，如何透過最佳化演算法低對領域資料依賴，建設⾃動化平臺降低⼈⼒消耗和提升研發流程效率對成本控制⾮常關鍵。

最後還要重視交付質量和售後服務。只有同時做好上述三個環節，才能完成從需求到交付到服務的整個鏈路，從而奠定規模商業化的基礎。

端到端和預訓練等技術仍然值得關注

• 端到端序列建模技術

（1）準確率和推理速度更上⼀層樓的端到端技術值得期待，其中對⻬機制（alignmentmechanism）是端到端序列建模的關鍵。位元組跳動 AILAB 正在探索的連續整合發放 CIF 模型（Continuous Integrate-and-Fire）是一種創新的序列端到端建模對齊機制，具有軟對齊、計算代價低和容易擴充套件的特性。

（2）在端側裝置上的端到端語⾳識別和合成技術落地值得關注，特別是輕量級、低功耗、⾼準確度和定製靈活的端到端語⾳識別和合成技術。

（3）端到端語⾳識別技術⽅向的熱詞定製和領域⾃適應技術⾮常可能有重⼤進展。

• ⽆監督預訓練技術

（1）超⼤資料規模和模型 size 的語⾳⽆監督預訓練技術值得關注，語⾳⽆監督預訓練的 BERT 已經出現 (Wav2vec2.0/Hubert)， 語⾳⽆監督預訓練的 GPT-3 很可能在 2022 年到來。

（2）多模態語⾳⽆監督預訓練技術也⾮常吸引⼈，該技術可能會極⼤地提升預訓練模型的表徵能⼒，從⽽帶來⽆監督預訓練技術更⼤範圍的落地應⽤。

（3）無監督預訓練技術在語⾳合成、⾳樂分類、⾳樂識別領域的應⽤同樣值得關注，藉助⽆監督預訓練的聲學⾳頻表徵，可以有效提升下游任務的效能。

• 語⾳對抗攻擊與防禦技術。

（1）語⾳領域的對抗攻擊，從攻擊⼿段上來看，將從當前的⽩盒攻擊，進⼀步進化成⿊盒攻擊；從攻擊內容來看，將從當前流⾏的 untarget 攻擊進化成 target 攻擊。

群雄逐鹿，誰能贏得自動駕駛之戰？

2021 年，自動駕駛領域格外熱鬧。

造車熱

今年，網際網路大廠、新造車勢力和傳統企業紛紛進場佈局自動駕駛，可以說能下場的巨頭們基本上都下場造車了，自動駕駛“戰場”群雄逐鹿，不知未來誰執牛耳？

在資本市場上，自動駕駛也備受追捧。據零壹智庫分析，繼 2016-2018 年熱潮之後，2021 年自動駕駛領域迎來第二次投資熱潮。今年 11 月，Momenta 完成超 10 億美元 C 輪系列融資，創下本年度自動駕駛領域最大規模融資記錄。

商業化前夜

Robotaxi 是自動駕駛最有價值的商業模式，現階段，很多自動駕駛技術公司都在做 Robotaxi 的嘗試。今年，很多自動駕駛車輛從封閉路測場地走向真實道路。百度、小馬智行、文遠知行、等企業已實現面向公眾的示範運營，開始探索商業化。11 月，國內首個自動駕駛出行服務商業化試點在北京正式啟動，百度和小馬智行成為首批獲許開展商業化試點的企業。業內人士認為，這標誌著國內自動駕駛領域從測試示範邁入商業化試點探索新階段。

今年，自動駕駛卡車賽道也格外火熱，量產和商業化均提速，頭部玩家走向上市。近日，毫末智行董事長張凱在接受 InfoQ 等媒體採訪時談到了自動駕駛卡車的發展，他表示，相對乘用車輔助自動駕駛執行場景的複雜性，RoboTruck 具有一些優勢，例如長時間執行在較暢通的高速公路上，執行場景相對簡單。現階段，RoboTruck 走得是類似於乘用車般從輔助駕駛到無人駕駛漸進式的發展路線。從發展前景看，Robotruck 具備商業化閉環的可行性，但自動駕駛系統的量產將會是一個坎。

毫末智行 COO 侯軍認為，2021 年是自動駕駛的爆發之年。一方面，得益於技術的持續進步、市場需求、政策加持、資本看好等各方面因素，高級別自動駕駛在落地探索方面，已有了初步的成果；另一方面，智慧駕駛商業化落地也在快速滲透，開始走向量產時代。

2022，這些技術將是下半場競爭勝負的關鍵

根據張凱的預判，“2022 年將是自動駕駛行業發展最為關鍵的一年。乘用車輔助駕駛領域的競爭將會正式進入下半場，而下半場競爭的場景將會是城市開放場景。其他場景的自動駕駛也將正式進入商業化元年”。

張凱認為，2022 年，多項自動駕駛技術值得關注。

（1）資料智慧將成為自動駕駛量產決勝的關鍵。資料智慧體系是自動駕駛商業化閉環的關鍵所在，搭建高效、低成本的資料智慧體系有助於推動自動駕駛系統不斷迭代前行。

（2）Transformer 與 CNN 技術深度融合，將會成為自動駕駛演算法整合的粘合劑。Transformer 技術幫助自動駕駛感知系統理解環境語義更深刻，與 CNN 技術深度融合能解決 AI 大模型量產部署的難題，這是自動駕駛行業下半場競爭的關鍵技術。

（3）大算力計算平臺將在 2022 年正式量產落地，Transformer 技術與 ONESTAGE CNN 技術都需要大算力計算平臺做支撐。

（4）隨著自動駕駛系統的量產和規模化，鐳射雷達與機器視覺組成的 AI 感知技術，將與大算力計算平臺深度融合，這將大幅提升自動駕駛感知、認知模組的執行效率。

NLP，黃金時代持續？

這幾年，NLP 處於快速發展階段。去年，多位 NLP 專家評判，NLP 迎來了大爆發的黃金時代。那麼今年，NLP 的發展情況如何？

基於提示的微調技術迅速流行

作業幫產研中心蔣宏飛博士告訴 InfoQ，今年基於提示的微調 (prompt-based tuning）的技術迅速流行起來，這是一種人類知識和大模型較高效的結合模式。該技術是今年較值得關注的新進展。

“今年 NLP 在基礎模型方面沒有大的突破。預訓練模型方面，今年湧現了很多很大的模型，但整體上同質化也較嚴重，對於工業界實踐效果來講，往往按照‘奧卡姆剃刀’原則，傾向於使用最適當的如 Bert 往往就夠了”蔣宏飛表示。

現階段，NLP 技術在發展過程中還存在不少技術挑戰，其中之一便是很難獲取到大量高質量的標註資料。深度學習依賴大規模標註資料，對於語音識別、影象處理等感知類任務，標註資料相對容易，但 NLP 往往是認識類任務，人的理解都有主觀性，且任務和領域眾多，導致大規模語料標註的時間成本和人力成本都很大。

與 CV、語音識別相比，NLP 專案在業務中落地往往較慢

NLP 落地專案往往和業務強相關。不像影象識別、語音識別，通用能力在具體業務也有大量落地場景，業務和演算法協作邊界和指標相對好確定。而 NLP 專案在業務中落地往往會比較慢，需要上下游不斷深度磨合對齊。

NLP 解決的是最難的認知智慧，而人類語言的歧義性、複雜性、動態性令其挑戰重重。但 NLP 商業化落地必須面對這些本質的難題，所以不太可能有通用性的“一招吃遍天”的技術方案。

“儘管現在的預訓練模型一直在往這個方向努力，但我認為起碼目前這種 Transformer 式的，或者更通用地說，DNN 這種蜂巢智慧式的技術正規化不太行。所以，大家能看到也有不少研究學者在知識圖譜類的各種其他正規化上在做努力”蔣宏飛說。

通用性的模型既然走不通，那垂類單一具體場景任務為什麼也不能快速搭建？這個問題又涉及到資料的問題。資料標準的對齊、資料標註一致且高效、資料覆蓋度和均衡度、長尾資料的處理、資料動態漂移等都是 NLP 從業者每天面對的麻煩事。而相關的方法論和基礎工具還很不繫統、不齊備，這是未來想達到快速商業化目的前必須打好的基礎。

明年，NLP 將在哪些場景實現規模化落地？

2022 年，NLP 的大規模化應用可能會出現在以下行業出現突破：

• 教育智慧化
• 場景化高標準機器輔助翻譯，如專業領域文件翻譯、會議實時翻譯等。
• 服務運營智慧化：培訓、銷售、營銷、服務等場景的智慧化。
• 外文學習 / 寫作智慧輔助，參考 Grammarly 和 Duolingo 的快速發展。
• 醫療智慧化。文字廣泛存在於電子病歷、臨床試驗報告、醫學產品說明書、醫學文獻中。分析、挖掘和利用這些文字，有大量且能直接使用的場景，可能會有突破式發展。
• 程式碼智慧分析。程式碼 bug 識別、程式碼智慧最佳化等。

2022 年，NLP 值得關注的技術點

• 基於提示的微調 (prompt-based tuning) 的技術。
• 具有邏輯推理的文字生成技術、具有良好控制性以及一致性的文字生成技術。文字生成要在嚴肅場景用起來就必須滿足這些，否則只能應用在娛樂場景。
• 多模態技術。如 NLP+CV、 NLP + Image、 NLP+ Speech 等。
• 主動學習、資料增強等。NLP 大規模快速落地時的很多痛點需要這些技術來緩解。
• 程式碼智慧。程式碼問題識別、程式碼翻譯、自動程式碼最佳化、程式碼工作量評估 (如 Merico 的方案)。

元宇宙概念大火，計算機視覺是基石技術之一

回首過去的一年，OPPO AI 技術產品化專家（語音語義和計算機視覺以及多模態融合方向）何苗總結了計算機視覺在工業界和學術界的進展。

具身智慧，從被動式 AI 轉向主動式人工智慧

具身智慧（embodied AI），強調智慧體（agent）要與真實世界進行互動，並透過多模態的互動 — 不僅僅是讓 AI 學習提取視覺上的高維特徵，被“輸入”的認知世界，而是透過“眼耳鼻舌身意”六根來主動獲取物理世界的真實反饋，透過反饋進一步讓智慧體學習並使其更“智慧”、乃至“進化”。

今年 2 月，李飛飛提出了一套新的計算框架—— DERL（deep evolution reinforcement learning）深度進化強化學習。她提到了生物進化論與智慧體進化的關係，並借鑑了進化論的理論應用於假設的智慧體的進化學習中。

進入元宇宙，需要智慧感知和互動這張門票

今年，元宇宙概念大火，各家紛紛入局。

Facebook 極為推崇元宇宙，為了表示投入元宇宙的決心，今年，Facebook 改名為 meta，並宣佈 “all in 元宇宙”。

扎克伯格提出雲宇宙需要具備八要素，其中之一是 Presence 開發平臺 / 套件。Presence 是 meta 為 Oculus VR 頭顯開發者提供的元宇宙基礎開發套件，提供的即為基於計算機視覺和智慧語音技術的工具集，分別是 insight sdk、interaction sdk 和 voice sdk。

進入元宇宙需要智慧感知與互動技術這張門票，而這張門票裡的視覺和語音技術是最重要的基石。

趨勢一：面向內容生成的 AIGC

元宇宙世界需要孿生大量現實世界的物體或是對於現實世界的人物進行重建，而這些海量的重建必然不能按照傳統遊戲世界中的方法，由 CG 工程師一個個手工製作，這樣效率遠遠無法滿足實際場景的需求。因此面向內容生成的 AIGC（演算法層面）是必要的。相關技術方向包括：影象超分、domain 遷移、外推、類似 CLIP（對比式語言影象預訓練模型，可以從自然語言監督中有效學習視覺模型）的隱式神經表示 — 透過文字描述來生成影象等多模態的（CV+NLP）等相關技術。

趨勢二：SCV 合成

虛擬現實引擎有專門的生成合成資料的元件，這些合成數據不僅美觀，而且有助於訓練更好的演算法。

生成 / 合成的資料不僅是元宇宙的必備要素，也是訓練模型的重要原料。如果有合適的工具來構建資料集，就可省去繁瑣的給資料手工打標的過程，更好地對計算機視覺演算法進行開發和訓練。

知名資料分析公司 Gartner 認為在未來 3 年中，合成數據將比真實資料更佔優勢。在合成計算機視覺（SCV）中，我們使用虛擬現實引擎訓練計算機視覺模型，並將訓練好的模型部署到現實世界。

知識圖譜商業化落地，制約因素主要在於標準化

重要技術進展

知識圖譜技術在過去這一年取得的重要技術進展有：

知識抽取方面，多模態資訊抽取在同時處理文字和影片方面取得了進展；知識表示方面，自注意力機制的知識表示方法越來越走向實用；知識應用方面，很多行業開始構建行業知識庫，用於各類下游任務。

明略科技資深科學家張傑在接受 InfoQ 採訪時指出，現階段，在知識圖譜方面，業界普遍面臨的研發難點主要體現在兩個方面：演算法方面，針對非結構化資料的資訊抽取和實體對齊的準確度難以保障直接商用，需人工校驗；工程方面，行業圖譜構建成本高，需要大量的人工標註，另外構建進度也不是一蹴而就，需要業務專家不斷運維。

張傑預測，2022 年，領域預訓練語言模型和 Prompt 在知識圖譜中的應用，有望使得資訊抽取環節得到進一步提升。針對技能性知識的抽取技術和多模態抽取技術，商用前景廣闊。

應用落地進展

2021 年，知識圖譜技術的應用落地，在 ToC 場景中仍主要用於搜尋、推薦的提升，在 ToB 場景中集中在視覺化上。

張傑認為，現階段，制約知識圖譜商業化落地的主要因素在於標準化，行業圖譜的 schema 很難在企業內部大範圍內達成認知的一致性，影響了後續的標註、抽取、應用。

2022 年，知識圖譜技術的大規模化應用可能會在製造業出現突破，製造業的知識密度高、重視標準化，頭部企業重視數字化建設，積累了大量原始資料。

2022 年，值得關注的重要技術趨勢

人工智慧工程化

近兩年，人工智慧工程化（AI Engineering）格外受關注。在 Gartner 釋出的 2021 年和 2022 年重要戰略技術趨勢中，人工智慧工程化都被列入其中。人工智慧工程化是一種實現人工智慧模型操作化的綜合方法。

不久前，Gartner 高階研究總監高挺曾在接受 InfoQ 採訪時表示，AI 工程化本質上是 AI 在企業中大規模、全流程的落地過程，儘管目前大家現在對 AI 期待很高，但實際上 AI 目前的應用仍然是被低估的。因為，很多 AI 專案的價值只能體現在一些“點對點”的一次性的方案中。將 AI 大規模落地的工程化方法（包含 DataOps、ModelOps 和 DevOps）總和起來，便是“AI 的工程化”的一整套體系。

人工智慧工程化對企業有很多好處，企業在進行人工智慧落地的時候，落地效率、落地廣泛度會更高。

可以預見，人工智慧工程化將會是未來 2-3 年需要持續關注的方向，人工智慧工程化應該關注三大核心要點：資料運維、模型運維、開發運維。

Gartner 預測，到 2025 年，10% 建立人工智慧工程化最佳實踐的企業從其人工智慧工作中產生的價值將至少比 90% 未建立該實踐的企業高出三倍。

生成式 AI 漸成趨勢

生成式人工智慧（Generative Artificial Intelligence）也被 Gartner 評為 2022 年重要戰略技術趨勢之一。

該機器學習方法從其資料中學習內容或物件，並運用資料生成全新、完全原創的實際工件。人們可以用 AI 來創造出一些新事物，如內容創作、建立軟體程式碼、輔助藥物研發等。

近日，機器學習大牛吳恩達發文回顧了 AI 在 2021 年的四個重要進展，其中之一便是，AI 生成音訊內容呈現出主流化傾向。現在音樂家和電影製作人們，已經習慣於使用 AI 支援型音訊製作工具。

在國內的優酷、愛奇藝等影片平臺，AI 也已經廣泛用於音、影片的內容生產和創作中，如 AI 輔助影片製作、智慧字幕生成、智慧翻譯、特效生成等。

Gartner 認為，未來一段時間內，AI 會逐漸從一個做判斷的機器變成一個做創造的機器。預計到 2025 年，生成式人工智慧將佔所有生成資料的 10%，而目前這一比例還不到 1%。

不過該技術還存在一定的爭議，如會被濫用於詐騙、欺詐、政治造謠、偽造身份等，存在道德和法律風險。

元宇宙，狂熱的新風口

2021 年，可能沒什麼技術名詞比“元宇宙”熱度更高了。全球很多公司都在講元宇宙的概念，認為元宇宙是指向網際網路的“終極形態”。如今，移動網際網路的紅利已經見頂，不知道網際網路的盡頭是否會是元宇宙？

所謂元宇宙，是一個虛擬時空間的集合， 由一系列的增強現實（AR）， 虛擬現實（VR） 和網際網路（Internet）所組成。元宇宙的實現，仰賴一系列前沿技術作支撐，包括人工智慧、VR/VR、5G、雲計算、大資料、區塊鏈等基礎設施。

元宇宙中可以重點關注的細分賽道有 VR/AR 、遊戲、社交、Metahuman 等。文娛基金易凱資本在其元宇宙報告中也表示，長期看好基於上述形態的底層技術公司。易凱資本預測，在未來十年，元宇宙概念將依舊集中於社交、遊戲、內容等娛樂領域，到 2030 年會滲透到提升生產生活效率的領域。

寫在最後

2021年，人工智慧領域湧現了不少激動人心的重大突破，人工智慧也正在賦能、改變甚至顛覆許多行業。當然也仍有很多難點需要投入更多時間攻克。

近日，李彥宏對 AI 的未來發表判斷：“人機共生”時代，中國將迎來 AI 黃金十年。而未來十年，AI 技術應用門檻將顯著降低，為各行各業的智慧化轉型提供技術“大底座”。

人工智慧發展已漸入深水區，期待明年以及之後的 10 年，人工智慧能夠在技術和落地上取得更多進展，為下一個“黃金十年”而努力。

採訪嘉賓介紹（按姓名首字母排序）：

何苗，OPPO AI 技術產品化專家

侯軍，毫末智行 COO

蔣宏飛，作業幫產研中心

劉知遠，清華大學教授、智源大模型技術委員會成員

馬澤君，位元組跳動 AILAB 語⾳技術總監

吳韶華，浪潮人工智慧研究院首席研究員

許欣然，曠視天元 MegEngine 研發負責人

曾冠榮，OPPO 小布智慧中心、 NLP 演算法工程師

張傑，明略科技資深科學家

張凱，毫末智行董事長