HPC是高效能的巔峰,過去對高效能計算需求旺盛的高等院校和科研機構是HPC應用的主要應用場景。隨著數字經濟的發展,HPC產業正從過去主要傳統科研領域計算密集型為主,逐漸向新興的大資料、人工智慧以及深度學習等方向進行融合和演進,並形成了HPC+AI+大資料+雲的多樣性算力融合創新。
人工智慧、基因測序、氣象海洋預報、模擬模擬、軍事裝備研究等諸多領域,都在利用HPC的強大計算力推動民生與數字經濟的不斷升級。所以,HPC在一定程度上體現了一個國家的綜合科技能力。
10月21日的CCF HPC China 2021上,華為釋出了其在多樣算力上的諸多創新,涵蓋架構、儲存和網路。在HPC愈發成為數字經濟算力驅動的當下,推動HPC創新,就等於推動了數字經濟的算力基座。
HPC是構建下一代基於資料產業的基石
去年的《關於構建更加完善的要素市場化配置體制機制的意見》指出,將發揮“資料”這一新型要素對其他要素效率的倍增作用,使資料成為推動經濟高質量發展的新動能。
據IDC資料,到2025年,全球資料圈將增至2025年的175ZB,屆時中國將成為全球最大的資料圈。隨著資料的規模變大,邁入EB級時代,智慧化驅動下的資料價值挖掘的需求也在變大。
而算力則是發揮資料價值的重要路徑。
如今,計算產業在加速朝著叢集化、中心化的趨勢發展。從十三五到十四五規劃之年,我國的超算中心體量增加了一倍。未來還可能將實施全國一體化大資料中心建設重大工程,在全國佈局10個左右區域級資料中心叢集和智慧計算叢集。
在數字經濟當中,產業叢集的數字化是重中之重。幫助產業叢集提升生產力,構建強大的算力叢集中心被認為是一個有效途徑。因此代表多樣計算能力的HPC技術發展不可或缺。同時,HPC作為構建下一代基於資料產業和科學計算的基石,更是開啟未來資料文明的鑰匙。
我國的HPC產業近年來發展迅速,湧現了華為、國防科大、江南計算所、曙光和浪潮等一大批超算研發團隊和領軍企業。在2021年6月釋出的TOP500排名中,中國上榜的超級計算機數量高達188臺,穩居世界第一。
高效能計算的技術發展,與國家戰略和行業大趨勢息息相關,如節能環保。2021年政府工作報告中明確提出要紮實做好“碳達峰”、“碳中和”各項工作,“十四五”是碳達峰的關鍵期、視窗期。我國作為發展低碳經濟,促進數字經濟全面綠色轉型,重塑數字產業具有重要意義。
很明顯,國家的雙碳戰略為核心,驅動新一輪的能源革命,帶動產業轉型,千行百業的低碳節能,產業“大機遇”就蘊藏其中。
而隨著高效能計算機系統性能基數的持續增長,高效能和高能耗已經成為高效能計算機系統的顯著特徵和一對矛盾體,高能耗是未來超算產業面臨的一大核心技術挑戰。在低碳時代,未來的超算中心要求能耗可監測、可管理,而且可預測、可定製。研究超算中心能耗動態管理技術,開發一體式綜合管理框架,以開放規範為原則,實現對計算機系統、變配電系統、空調系統、安防系統的智慧化裝置的全覆蓋和有機整合勢在必行。
華為HPC創新的“金剛鑽”
在HPC的技術發展路徑中,也出現了很多新的趨勢和難題。
首先,是算力異構化成為超算技術發展的趨勢,處理器開始多樣性發展,多元應用也在驅動算力的多樣化。面向多樣性計算時代,系統從單一算力到多樣性算力,從單機部署到叢集部署,從傳統應用到融合智慧應用,給軟體開發者帶來了更加複雜的挑戰。
為此,華為釋出了多樣性計算融合架構“北冥”。作為多樣性計算硬體及叢集打造的完整軟體棧,北冥架構不僅為多樣性計算系統提供通用、高效、高效能的開發能力,助力開發者更好地應對開發生態碎片化、開發成本高、系統整體效能無法充分發揮的挑戰;還可以幫助開發者實現分散式應用的極簡開發、融合應用的高效部署以及多樣性計算系統的全棧效能最優。同時,北冥架構的MindStudio統一工具鏈,為開發者提供統一整合開發環境,實現開發全流程連貫無斷點。
簡而言之,華為為多樣性計算打造的北冥架構,幫助開發者簡化多樣性計算環境下的開發和部署,實現與單機相同的應用開發和部署體驗,充分釋放算力效能,獲得遠超單一算力的應用效能。
其次,資料密集型超算需求激增。最新發布的報告顯示:HPC整體市場預計在未來五年(2019-2024 年)將以6.8%的複合年增長率(CAGR)增長,其中高效能資料分析HPDA的市場份額(包括支援HPC的人工智慧)預計將以5年平均17%的CAGR迅猛增長。
這意味著客戶在HPDA和AI代表的資料密集型方向上有較多需求。為此華為釋出了業界首個面向HPDA的華為OceanStor Pacific儲存,可以做到一套儲存支撐高效能計算、大資料分析、AI計算的混合負載,大幅提升資料分析效率。同時,華為還聯合中國計算機學會高效能計算專業委員會發布了由多個產學研組織聯合編寫的《資料密集型超算技術白皮書》。
第三,資料中心網路,連線資料中心內部通用計算、儲存和高效能計算資源,伺服器間的所有資料互動都要經由網路轉發。隨著IT架構、計算和儲存技術都在發生重大變革,驅動資料中心網路從原來的多張網路獨立部署向全以太化演進。而傳統的乙太網無法滿足儲存和高效能計算的業務需求。
華為超融合資料中心網路,透過智慧無損演算法、在網計算等技術創新,可以基於全無損以太架構實現以太對傳統專有網路技術的替代和超越,打破通用計算、儲存和高效能計算三套網路架構的限制,最大化實現資料的無障礙流動,有效提升算力能效比,並可率先向L3.5自動駕駛資料中心網路邁進,實現多雲多廠商網路的端到端自動化和智慧運維。
在本次的HPC China 2021上,北冥架構、OceanStor Pacific儲存和超融合資料中心網路,組成了華為HPC技術創新的“黃金搭檔”。
華為為什麼能夠成為HPC產業的領導者
作為公認的“計算金字塔尖上的明珠”,HPC的成就一方面有賴於計算、儲存、網路這些基礎技術的創新,另一方面則要求與場景做結合,解決實際專案中的問題。
首先,對HPC這種技術創新來說,耐得住寂寞,沉下心來才能走的更遠。而華為多年在不斷深入基礎技術研發,過去十年研發總投資超過7200億元人民幣,未來幾年,華為每年的研發經費會逐步提升到150~200億美元。
其次,華為30多年的發展歷程中,服務了大量的客戶場景,並透過場景反饋出更多的需求,讓華為更理解多樣性的算力,如何賦能多樣性的場景需求。這是華為能夠屹立HPC發展潮頭的原因之一,例如在HPDA需求,自動駕駛、基因測序、電影渲染、精準天氣預報等廣泛的應用場景,華為均有很好的建樹。
最後,華為始終對產業有敏銳的認知,從不跟隨,總是引領。我們看到,《資料密集型超算技術白皮書》代表了資料密集型超算的理論支撐,業界首個面向HPDA的華為OceanStor Pacific儲存和超融合資料中心網路CloudFabric 3.0的創新也為整個HPC產業的創新提供了新的思路。
HPC代表了高效能的巔峰,這也與華為追求技術創新巔峰的特點也是非常貼合的。
總結來看,華為在HPC領域的成功並不偶然,多年的技術投入,大量場景化實踐,堅持自主創新的產品戰略,以及過硬的產品軟硬體組合,正是這一系列的原因促成了華為在HPC行業的領導者地位。