2021年12月,隨著最後一條指令確認完成,中國銀行廣域網資料加速創新課題從0到1成功孵化落地,骨幹網頻寬佔用率顯著降低,跨中心業務執行穩定,標誌著中國銀行在國內金融行業創新性地實現了網路級資料壓縮加速技術的應用創新和商業投產,為金融業務數字化轉型提供了一條穩定、通暢的高速公路。
生態驅動
提出傳輸能力新要求
數字化已成為時代的基因,利用金融科技促進轉型升級,是當下商業銀行面臨的普遍課題。中國銀行深度融入數字經濟發展浪潮,紮實推進“一體兩翼”,全面推進數字新基建,不斷加強科技創新和場景生態建設,提升金融服務基礎能力。數字化轉型的背後,是海量資料在多個數據中心、分支機構間的高速互動,而金融企業骨幹網路,正是實現這一互動的核心大動脈。資料量的指數級增長、多地多中心的新佈局,都對中國銀行網路傳輸能力提出了更高的要求,集中體現在兩個方面。
一方面,業務增長帶動網路頻寬急速增長,運營成本壓力倍增。中國銀行持續推進金融場景生態建設,提升金融服務基礎能力,數字化賦能網點轉型新業務的發展,隨著數字化轉型的持續推進,資料內容從文字資料為主已經快速轉向多種格式並存的狀態,全行資料生成、保有、傳輸量快速增長。從業務傳輸型別來說,不僅要滿足實時線上業務的高效低延時轉發,也要滿足批次、備份等非同步資料的大頻寬需求。資料傳輸規模的快速增長,讓當前的骨幹網容量面臨很大壓力,線路頻寬從1Gb量級擴容到10Gb量級,增長近十倍,專線租用費用逐年快速遞增,線路費用已經超過骨幹網路裝置投資成為運營支出的大頭。面對巨大的成本壓力,迫切需要探索一種創新技術,可以實現資料壓縮加速傳輸,提高單位頻寬利用率,減緩骨幹網頻寬容量增速,達到降本增效的目的。
另一方面,IT架構演進也同步驅動了作為IT高速轉發匯流排的中心間骨幹網路頻寬的快速提升。中國銀行的IT架構從兩地三中心向分散式多地多中心演進,應用系統從主要部署在主生產中心轉向分散式部署在多個數據中心轉變,使得中心間的資料互動大量增加,資料中心互聯的骨幹網也已演進為多地全互聯架構。傳統的線路級壓縮加速技術已不再適用,必須考慮適合多點到多點任意連線的網路級資料壓縮加速技術體系。
為滿足數字時代要求,中國銀行提出了適合大型金融企業骨幹網的壓縮加速技術應同時具備的技術要點,包括效能、可靠性、可管理性和組網能力等方面的多項關鍵指標要求,並對IT業界的壓縮加速技術市場現狀進行了研究分析。研究發現,業界主流壓縮加速技術解決方案不能同時滿足這些硬性要求,分別在滿足一部分要求的同時存在著各種各樣的不足,主要歸納為:
1.效能方面存在不足。大頻寬骨幹網資料壓縮加速需要進行高強度資料處理,對計算和轉發能力要求極高。計算能力不足的系統,不能滿足大頻寬的傳輸能力,而且會增加網路傳輸時延,降低網路服務質量。
2.可靠性方面存在不足。需要單獨增加壓縮加速專用裝置,會增加網路的複雜度降低網路可靠性,這對骨幹網是致命缺陷;流式字典壓縮演算法存在可靠性缺陷。對骨幹網長距離專線質量要求嚴苛,丟包、亂序均會造成解壓失敗,對資料傳輸造成影響。
3.可管理性方面存在不足。IPComp協議等壓縮協議,會對資料報文的IP報文頭、TCP/UDP報文頭與資料負載一起壓縮,將多個數據流壓縮成單一壓縮流,導致無法實現多業務流識別與精細化統計分析,無法在網路的多路徑上進行流量負載分擔,無法線上路擁塞時定位原因,並且無法匹配網路上的服務策略,無法滿足骨幹網的管理要求。
4.組網能力方面存在不足。使用成對裝置進行點到點專線壓縮的技術方案,匹配的主流需求場景是中小型的單資料中心星型網路,或者兩地三中心的傳統企業網路,無法適應規模龐大架構複雜的大型金融企業網路結構,無法滿足多點到多點大型組網場景。
適用於大型金融企業內網的網路級資料壓縮加速技術,需要在上述各個方面全面解決不足之處,整合全方位能力優勢,需求場景複雜,技術要求涉及面廣,是資料壓縮加速技術領域無人登頂的雪山之巔,需要從零開始克服重重困難進行攀登。
致知力行
實現網路加速新突破
中國銀行與華為聯合課題組結合金融行業對資料壓縮加速技術性能、可靠性、可管理性和組網能力等方面的要求,充分分析了多個技術方案的侷限性和問題點,啟動了業內首個基於網路裝置內建的全網狀多點無狀態壓縮技術的應用創新。創新課題當前已完成從場景需求梳理、可行性研究、關鍵技術實驗以及驗證性投產部署,驗證環境整體架構如圖1所示。
網路級資料壓縮加速技術在效能、可靠性、可管理性和組網能力等各方面全面整合優勢,消除了各方面短板,滿足了大型金融企業骨幹網的壓縮加速技術所需的全部要素,具體包括以下幾點。
1.高效能
網路級資料壓縮加速技術參考通用的LZ4、Zstd、Deflate等壓縮演算法結合無狀態協議創新,經生產資料驗證,純壓縮比高達2.3:1,工程壓縮比1.6:1以上,單位頻寬利用率提升37%以上。
網路級資料壓縮加速技術的壓縮與解壓過程產生的時延控制在0.1毫秒量級,相比骨幹網傳輸全程一般數十毫秒量級的總時延,可以忽略不計,最大程度減小上層業務感知。
2.高可靠性
網路級資料壓縮加速技術採用在骨幹網路由器上新增專用業務板卡的方式,將壓縮加速相關的引流、處理、轉發工作在單臺裝置內一站式完成,流量處理路徑短、效率高,避免了引入額外裝置的架構複雜度和可靠性問題。
業務處理板卡處理能力顯著提高,可以滿足未來三至五年容量需求,並且實現了路由器機框內的雙卡冗餘容災,在單一壓縮加速卡出現軟硬體故障時,可毫秒級將業務流量倒換至另一塊板卡處理,滿足自動冗餘切換的金融級高可用要求。
3.高可管理性
網路級資料壓縮加速技術在後續的網路轉發過程中可以延續現有的服務策略和應用的統計呈現等管理策略與要求。
在壓縮機制上採用了基於無狀態可調式壓縮演算法,發生丟包亂序也不會影響解壓,普適性和容錯性大大增強。
4.多點到多點的網路級壓縮加速
網路級資料壓縮加速技術實現了多點到多點的壓縮與解壓,壓縮端和解壓端無需建立會話,資料在單點壓縮後,可以根據業務需求發往任意多個目的端,目的端側裝置基於壓縮包識別進行解壓,從而實現網路級的壓縮加速能力,滿足分散式多點互聯場景。
科技引領
開啟業務賦能新徵程
經過近一年的需求調研、可行性分析、技術攻克、方案規劃及生產驗證,中國銀行網路級資料壓縮加速技術創新初見成效,為整個金融行業所做出的一次前瞻性嘗試。
未來這項創新全面部署後預計每年節約專線租用成本數千萬人民幣,顯著降低網路運營成本,同時,批次檔案資料傳輸總耗時將降低四分之一以上。此項創新也會對同業整體的降本增效工作作出有益的示範。後續將持續開展基於該技術的創新與應用研究,在智慧識別、安全信任、IPv6結合等方面進行更多的嘗試,進一步拓展應用場景,以期實現更大的技術突破,更好地為業務轉型增效賦能。
中國銀行也將持續著力金融行業科技發展,力爭成為科技金融的全要素整合者、全鏈條創新者、全週期服務者,爭做新發展階段的科技金融領軍銀行。
文 / 中國銀行資訊科技運營中心 趙文烜、朱立維