這兩年AI領域最熱的一個詞就是大模型，全球的科技巨頭紛紛落子。為什麼大模型這麼熱？

我們正在經歷第四次工業革命，核心的驅動力就是人工智慧。但是在產業初期，不同行業、不同場景對AI的需求既複雜且碎片，同時AI人才也相對稀缺，所以很多企業靠人工去開發AI應用，成本高、效率低、落地慢。AI成為真正的驅動力，就需要很強的通用性，這就是大模型的價值所在——大模型已成為AI領域軍備競賽的關鍵。

今天，百度聯合鵬城實驗室重磅釋出雙方共同研發的全球首個知識增強千億大模型——鵬城-百度·文心（模型版本號：ERNIE 3.0 Titan），該模型引數規模達到2600億，相比GPT-3的引數量提升50%，在60多項任務中取得最好效果。

鵬城-百度·文心模型結構圖

鵬城-百度·文心大模型的落地，讓中國在AI軍備賽中又增加一枚重要籌碼。

多方優勢打造“核武器”

我們知道，AI取決於算力、演算法、資料三個要素，而鵬城-百度·文心大模型在這三要素上都有著不可替代的領先性。

• 先看算力優勢。

鵬城-百度·文心由鵬城實驗室提供算力。我們知道，AI對於算力的要求非常高，並不是每個企業都有能力搭建如此強大的算力中心，鵬城實驗室就是在這樣的背景下成立的、為行業提供強大算力的一個平臺。“鵬城雲腦Ⅱ”主要提供人工智慧研究必須的計算力資源、儲存資源、網路資源、資料資源和研究環境，覆蓋人工智慧基礎研究、重大應用、作業系統、資料資源共享、產業服務等專門研究實驗領域。鵬城雲腦Ⅱ算力叢集是我國首個國產E級AI算力平臺，吞吐效能國際領先，蟬聯全系統輸入輸出和10節點規模系統兩項世界冠軍。如此強大的“鵬城雲腦II”成為大模型研發的肥沃土地，文心大模型因為資料量大，對算力要求極高，所以選擇與鵬城實驗室合作。

飛槳超大模型訓練與推理

• 再看架構與演算法優勢。

大模型的訓練和推理對深度學習框架帶來很大的挑戰，而百度自研的飛槳是國內首個自主研發、功能豐富、開源開放的產業級深度學習平臺，在深度學習模型開發、訓練、推理和部署等方面，飛槳已可比肩TensorFlow、PyTorch等國際主流框架。飛槳具備開發便捷的深度學習框架、超大規模深度學習模型訓練技術、多端多平臺部署的高效能推理引擎、產業級開源模型庫四大領先技術。

據最新調研報告顯示，在IDC 2021年上半年深度學習框架平臺市場份額調研中，百度位列中國深度學習平臺市場綜合份額第一。百度飛槳、Google、Facebook形成鼎立格局，其中飛槳是市場三強中唯一國產品牌，並持續穩步增長。市場資料顯示，飛槳企業版EasyDL連續兩年保持市場排名首位，BML百度全功能AI開發平臺顯現強勁增速。

飛槳的端到端自適應分散式框架，實現了資料並行、模型並行、流水線並行、分組引數切片等等，使得超大規模的訓練能夠得以有效實現，鵬城-百度·文心模型並行效率高達90%。

在演算法上，為提升模型語言理解和生成能力，百度提出了可控學習與可信學習演算法。在可控學習方面，透過將模型預測出的文字屬性和原始文字進行拼接，構造從指定屬性生成對應文字的預訓練資料，模型透過對該資料的學習，實現不同型別的零樣本生成能力。在可信學習方面，針對模型生成結果與真實世界的事實一致性問題，透過自監督的對抗訓練，讓模型學習區分資料是真實的還是模型偽造的，使得模型對生成結果真實性具備判斷能力，從而讓模型可以從多個候選中選擇最可靠的生成結果，顯著提升了生成結果的可信度。

• 最後再看資料優勢。

AI訓練取決於資料量，資料越多訓練出來的AI越聰明。文心大模型與眾不同之處在於除了在海量無結構資料學習以外，還融合了大規模的知識，所以文心被稱為知識增強大模型。我們知道，知識是做搜尋起家的百度的天然優勢。該千億大模型學習了多源異構的大規模資料與知識。百度知識增強大模型能夠從大規模知識和海量無結構資料中融合學習，學習效率更高、效果更好，具有良好的可解釋性。

由此可見，鵬城-百度·文心大模型集合了最強算力----鵬城雲腦II、最強AI架構——百度飛槳、再結合知識增強這樣的核心特色，三方面的優勢相結合，形成了一個重磅“核武器”，為中國AI產業軍備又填了一枚籌碼。

百度知識基因成就“與眾不同”

其實，這兩年在大模型熱下，全球幾大科技巨頭不斷重新整理大模型的資料量上線。2017年Transformer結構的提出，使得深度學習模型引數突破了1億，隨後模型引數一個比一個大，到了BERT網路模型的提出，使得引數量首次超過3億規模，GPT-3模型超過百億，鵬城盤古實現千億稠密的規模，而此次百度文心引數規模達到2600億，相信這個記錄很快也會再次重新整理。

大模型似乎沒有最大、只有更大。事實上，“大”只是一個相對值。AI的價值除了資料量大，還由很多方面的因素構成，不同大模型需要有自己的特色。

在懂懂看來，鵬城-百度·文心大模型眾不同之處就在於資料與知識的結合，這也是百度的獨特優勢所在，所以文心定位是知識增強大模型。

眾所周知，知識是人類智慧的結晶，是人類進步的重要推動力。想讓計算機像人一樣理解和認知世界，也需要讓計算機具備獲取、運用知識的能力。百度提出了知識增強大模型“文心”，突破了多源異構資料難以統一表示與學習的瓶頸。文心如同站在巨人的肩膀上，訓練效率和理解準確率大幅提升，並具備更好的可解釋性。據悉，隨著模型不斷進展，現在不僅能做理解，還能做生成，比如說要做知識推理、小說續寫、歌詞創作、作詩，這些都可以做得很好。

• 首先看跨語言。

人類歷史長河中曾經有幾萬種語言。從縱向看，一個國家、地區在不同時代有不同的語言。從橫向看，同一時代不同國家甚至不同地區都有不同的官方語言。所以同一語義可能會有很多種不同的表達。為此，百度研製了知識增強跨語言大模型ERNIE-M，可同時從多種語言中學習，提升跨語言理解能力，讓機器有了同時學習和理解多種語言的能力。

比如，做機器翻譯的時候，以前是需要雙語對照的，一句中文對應一句英文的譯文，現在基於文心大模型不必再死板的一一對照，而是非平行語料。

• 其次是跨模態。

人類是透過語言、語音、視覺等多種模態獲得對真實世界的統一認知。AI如果像人一樣理解真實世界，不僅需要聽懂語音、看懂影象影片、理解語言，這就需要突破不同模態、異構資訊的語義融合統一難題。百度提出知識增強跨模態大模型，包括理解大模型ERNIE-ViL、生成大模型ERNIE-ViLG，實現了複雜場景的多層次、高精度語義理解。其中，理解大模型ERNIE-ViL在視覺常識推理任務榜單獲得第一名；生成大模型ERNIE-ViLG實現文圖雙向生成，是全球規模最大中文跨模態生成模型。

AI的“輪子”駛向千行百業

我們在文章的開篇就講過，千行百業對於AI的期待都很高，但AI面臨落地難的問題。大模型堪稱AI的“輪子”，輪子造好了，行業應用也就會越跑越快，加速AI的落地。正如高文院士所說，“預訓練模型對整個科學的發展、社會的發展、創新的發展都是非常重要的工具。運用這個工具，可以幫助做很多人工智慧的賦能，不侷限於某個領域，這對人工智慧的發展都是一個福音。”

文心大模型是百度大腦最新的核心技術突破，能夠做到效果提升、帶來成本降低、實現應用便捷，大幅降低AI應用門檻，滿足各種場景需求，加速產業的智慧化升級。

這一次文心大模型不是一個泛泛的模型，而是帶來了“全景圖”，其中既包含基礎通用的大模型，也包含面向重點領域和重點任務的大模型，比如NLP（自然語言理解）大模型、CV（計算機視覺）大模型和跨模態大模型。同時，還有豐富工具與平臺支撐高效便捷的應用開發，包括EasyDL-大模型零門檻AI開發平臺和BML-大模型全功能AI開發平臺，以及大模型開發工具、大模型輕量化工具和大模型部署工具。這就相當於不僅鋪好了公路，還造好了汽車，具體往哪開就看不同客戶的不同需求了。

保險公司合同業務處理是一大難點，任務繁重、人員緊張、工作強度大、準確性和及時性要求高。一份合同需要完成近40個類目的條款解析分類，人工處理一份合同大概需要小半天時間，無論是人力成本、處理效率還是及時性都是行業業務環節中如何提高產能與效率的巨大挑戰。透過百度文心大模型賦能，國內一家大型保險公司定製了保險合同條款智慧解析模型，業務員處理單份合同文字的時長縮短到1分鐘，速度是之前的幾十倍，大大提升了工作效率。

中國聯通作為國內領先的運營商，服務上億使用者，一方面要更好的客戶體驗，另一方面也要不斷降低成本，傳統的服務模式已經不能滿足需求。中國聯通與百度合作，聯手打造了集約化智慧客服，面向場景可定製的對話技術。該技術以文心大模型強大的語義表示能力為基礎，建立了面向對話理解問題的專用預訓練模型。在保持優異應用效果的同時，該模型對資料標註量的需求降低45%以上，顯著提升了智慧客服業務鋪開的效率。

鵬城-百度·文心大模型是融合了自然語言理解和自然語言生成的全能模型，致力於解決傳統AI模型泛化性差、強依賴昂貴人工標註資料、落地成本高等應用問題，滿足真實場景中的應用需求，在各類AI應用場景都具備了極強的泛化能力。也就是說，有了鵬城-百度·文心大模型這個基礎，在面向不同的任務、在不同的應用場景裡做少量任務資料進行遷移學習，就可以應用於很多場景。

經過這幾年發展，百度文心大模型已經應用於很多行業，比如說通訊、金融、醫療、保險、證券、辦公、網際網路、醫療等等行業。隨著這次文心大模型全景圖的釋出，百度AI也將加快滲透，在更多行業中開花結果。