位列三甲！中國獲戈登·貝爾獎後，華為儲存向世界證明超算硬實力

機器之心原創

作者：吳昕

繼榮獲 2021 戈登·貝爾獎之後，中國超算再傳捷報：根據近日釋出的全球高效能計算儲存系統排名 IO500 榜單，Top 3 均為中國自研系統，其中華為獨佔兩席。算力、儲存和應用開始協同發展，中國超算「造強用弱」的局面正在發生實質性的轉變。

資料被視為新時代的石油，不同的是，人類有多焦慮有限的石油何時被耗盡，就有多煩惱無限的資料該如何被儲存。

作為資料處理、分析和應用的基礎共性支撐，儲存始終是計算機系統的效能瓶頸所在，高效能計算（HPC）領域尤其。

中國超算一直因「造強用弱」而飽受非議，這也是為什麼近年來國內超算業界對 Top 500 榜單排名表現得雲淡風輕，而對再獲戈登·貝爾獎的訊息卻倍感振奮——儘管困難重重，計算正向著百億億次級（E級）穩步邁進，應用也開始跟了上來。

但是，關鍵的儲存卻少見蹤影——直到上個月為止。

2021 年 11 月，最新的全球 HPC 儲存系統性能排名 IO500 榜單在 SC21 上公佈，Top 3 都是中國自研系統，而且其中兩臺都是華為已經大規模商用的系統。

根據最新發布的全球 HPC 儲存系統性能排名 IO500 榜單，Top 3 均為中國自研系統，其中華為獨佔兩席。來源：io500.org

其中，華為 OceanStor Pacific 系列儲存（Huawei HPDA Lab），以 2395.03 的總分名列第二。該系統採用 NVMe SSD 全快閃記憶體固態硬碟，基於自研的 OceanFS 高效能並行檔案系統，在 10 節點上實現了 337.75 GB/s（314.56 GiB/s）的頻寬和超過 1800 萬 IOPS 的元資料效能。

這是什麼概念？

還記得 45TB 的 GPT-3 原始訓練資料集嗎？

不等你泡好一包泡麵就已經傳完。

不鳴則已，一鳴驚人

大資料、雲端儲存和人工智慧的快速發展，不僅增強了對高效能儲存系統的需求，也對 I/O 支援應用的效能、資料可用性等方面提出了很多新的挑戰。

為促進領域更好發展，HPC 儲存專業社群 The Virtual Institute of I/O，2017 年 11 月制定並提出了一套全面衡量 HPC 儲存系統的基準測試，也即 IO-500，旨在反映 HPC 儲存系統的真實效能，並要求所有測試過程細節包括引數配置全部公開，以便使用者瞭解每個儲存系統的優勢及缺點。

很快，IO-500 便得到了全球 HPC 儲存業界的積極響應，成為領域事實上的權威標準。國內超算界的多位專家也向機器之心表達了他們對 IO500 榜單的重視。

IO-500 基準測試主要考察兩大關鍵指標——頻寬（GiB/s）和元資料效能（k-IOPS）。前者是大型檔案持續高速傳輸的保證，後者對不同型別資料的高效讀寫十分關鍵。

計算總分採用幾何平均數的方式，消除個別極高或極低指標的影響，因此更加均衡的系統能夠獲得更高的分數。換句話說，IO500 榜單總分越高，HPC 儲存系統的綜合性能就越好。

為了展現實際應用場景中的效能，IO-500 中還有一個「10 節點基準測試」，考察在客戶端數量不超過 10 的情況下，被測系統的頻寬和元資料效能。值得一提的是，華為 OceanStor Pacific 系列儲存在 10 節點榜單上也名列第二（Huawei HPDA Lab）。

排名第二的華為 OceanStor Pacific 儲存系統 IO-500 測評具體指標，可以看出各項效能均衡。來源：io500.org

效能提升的技術根源：
軟硬體協同最佳化，面向下一代高效能資料分析

IO500 榜單中值得關注的一點是，並沒有多少 Top 500 超級計算機的身影。

例如現今世界最快的超級計算機日本的富嶽，前幾次 IO-500 測評結果不甚理想，這次乾脆沒有參加測評。

這裡面當然有包括超算戰略在內的考慮，比如中國這次就沒有將新一代神威超算系統提交參與 Top 500 排名。但 IO500 與 Top 500 之間差異，體現出了當前算力與儲存的不均衡。

原因也不難理解，隨著超算與大資料、人工智慧的融合，HPC 正加速向高效能資料分析（HPDA）轉型。HPDA 應用的特點是資料量大且經常出現非結構化資料、時效性強、演算法複雜，因此其 I/O 模型與傳統 HPC 負載有很大差異。

國防科技大學計算機學院院長、銀河系列高效能計算機、天河一號和天河二號的副總設計師盧凱曾在 CCF HPC CHINA 2020 指出，傳統的並行檔案系統並不適合最新的儲存硬體技術，POSIX 提供的強一致性在很多情況下實際上嚴重影響了儲存系統的效能，屬於「大材小用」。

OceanStor Pacific 系列儲存是華為 2020 年 5 月釋出的產品，專門面向 HPDA 應用場景，針對 HPDA 負載「資料密集型」的特點，在硬體和軟體方面做了一系列最佳化。

其中配置最高的一款「OceanStor Pacific 9950 高密效能型」，官方稱「5U 8 節點，80 盤位 NVMe SSD，提供 160 BG/s 頻寬和 200 萬 IOPS」，對比這次 IO-500 基準測試結果，可以說是保守宣傳了。

就在今年 6 月，權威測評機構 ESG 實驗室對華為 OceanStor Pacific 系列儲存做了全面的技術測評，實測驗證了穩定高效能、多協議融合訪問、混合負載訪問、超高密設計等指標，並對其效能、成本和可靠性給予了充分的肯定。

不要忽視「可靠性」，根據 HPC 市場分析機構 Hyperion Research 的調研，企業在採購或選擇 HPC 系統時，通常算力第一、成本第二，近年來儲存雖然得到更多關注，但企業往往忽視後期運維，而由於停機造成的損失——哪怕只有幾小時——動輒上萬美元。

儲存資料就是儲存價值，
E 級計算需要與之匹配的儲存設施

目前，華為 OceanStor Pacific 系列儲存已用於科研、油氣勘探、自動駕駛、衛星測繪、生命科學、工業 CAE、超算等多個場景，滿足不同 HPDA 應用對資料傳輸和讀寫的不同需求。

華為資料儲存與機器視覺產品線總裁周躍峰曾指出，目前世界上只有不到 2% 的資料得到儲存，而在這些被儲存下來的資料中僅有 10% 得到應用，海量的資料未被儲存和應用是數字化經濟當中最大的問題之一。

由於儲存受限，科研人員不得不經常考慮該保留哪些資料，刪掉哪些資料。例如，CERN 每次執行實驗都會產生 PB 級的資料，而他們只儲存寫論文或實驗報告所必需的內容，餘下的全部刪掉，因為光是儲存前者就已經十分艱鉅。

被刪掉的資料就像滅絕的物種，失去了就永遠回不來了。一同消失的還有蘊含在其中的價值。

建設超級計算機從來都不是為了追求極致算力——這是手段而非目的——而是為了計算那些現在還無法計算的問題。

但如果資料沒被儲存下來，計算從何談起？

E 級計算時代，新的 HPC 系統將承載更多型別的業務，面對更復雜的 I/O 模型，只有計算與儲存協同發展，才能形成良好的高效能計算服務產業生態。

儲存是確保資料在全生命週期內發揮價值的保障，HPC 儲存系統更是關乎國計民生與國家戰略安全的關鍵資訊基礎設施。

根據 IO-500 基準測試指標，可以看出 HPC 儲存效能還有很大提升空間。來源：io500.org

華為在 2001 年進入儲存領域，從三五人的小團隊和一臺預研機產品，到如今在全球擁有 12 個研發中心、4000+ 研發人員、3000+ 專利，全面佈局儲存產品線。

最新的 IO500 排名沒有辜負這 20 年的付出，但 HPC 儲存的競爭才剛剛開始。

參考資料

• White Paper: Establishing the IO-500 Benchmark
• 盧凱，高效能計算機的儲存最佳化：實踐與經驗，CCF HPC CHINA 2020
• ESG Technical Review Huawei OceanStor Pacific HPDA, June 2021
• Hyperion SC21 Market Update
• DSC – AI for Science: From Atoms to the Cosmos, Argonne National Laboratory, Nov. 2021
• Uncovering Access, Reuse, and Sharing Characteristics of I/O-Intensive Files on Large-Scale Production HPC Systems, FAST '20
• Larry Smarr, On The Rise of Supernetwork Data-Intensive Computing, SC21
• 10000 字，致華為儲存的 18 歲