“天擎”業務化執行後
熟悉的氣象業務
會有哪些不同?
建設一個統一、開放、集約的平臺,將氣象部門海量的資料、龐雜的業務系統收歸一處,讓資訊暢通無阻,觀測、預報、服務間的融合協作也變得前所未有的便利高效——多年以前,這些設想只是“空中樓閣”,但如今隨著氣象大資料雲平臺的業務化執行一一照進現實。“天擎”這個“數算一體”的支撐平臺,正成為氣象業務與研發高度集約的“雲+端”新業態最可靠的支柱。
成長
迎難而上 築牢“雲+端”業務技術體制基座
將風雲變幻用觀測資料記錄下來,再透過複雜的運算得出預報,最終轉化為豐富多樣的服務產品,氣象業務鏈條從頭到尾,都高度依賴資料與資訊的順暢流轉。建立一個集約、穩定而高效的資訊系統,一直以來都是氣象工作者的理想。
跨入新時代,隨著資訊科技的快速發展,以及氣象業務對擁有集約高效系統的願望越來越強烈,“天擎”因勢而生,肩負起夯實“雲+端”業務技術體制基座的重任。
01
因勢而生
2017年12月,是“天擎”建設的起點。
12月11日,《氣象大資料行動計劃(2017-2020年)》釋出,提出統一設計建設開放互聯的氣象大資料雲平臺。12月26日,《氣象資訊化發展規劃(2018-2022年)》印發,明確建設“專有云+公共雲”模式的氣象大資料雲平臺。
國家氣象資訊中心繫統工程室副主任何文春參與了“天擎”建設全過程。他認為,從起步階段開始,“天擎”的定位就非常明確,“集約”是其中最明顯的特徵。這個新生的平臺,將匯聚、共享、開放與應用氣象資料資源,推進氣象應用融入其中,建成智慧氣象生態體系,支撐氣象資料資源開放共享和跨領域融合應用,提升氣象資訊系統集約化水平和應用協同能力。
彼時,全國綜合氣象資訊共享平臺(CIMISS)剛剛解決國省應用統一資料來源的問題,但各業務單位、業務系統間的“資訊孤島”“應用煙囪”問題仍未解決,資源浪費現象突出。如何在資料集約的基礎上,實現“數算一體”更高層次的集約?“天擎”的設計需要慎重考量。
從國家級到省級,氣象業務系統十分龐雜。要將各不相同的系統順利融為一體,必須有的放矢,以需求為引導。2018年1月,國家氣象資訊中心聯合各國家級業務單位和部分省級氣象局,組建34人的設計團隊,開始設計氣象大資料雲平臺。設計初稿完成後,又全面徵集反饋情況,吸納改進建議82條,最終歷時9個月時間,完成《氣象大資料雲平臺設計方案》。“天擎”的建設工作,正式啟動。
02
攻堅克難
數十年來,各級氣象部門根據各自需求,建設了資料規範、系統架構、程式語言等各不相同的數百個業務系統。要構建一個相容幷包的平臺,實屬不易。
與網際網路“大廠”建設雲平臺不同的是,氣象大資料雲平臺建設面臨著堪稱嚴苛的演算法相容問題。以數值預報為例,我國的模式研發起步於20世紀80年代,許多核心演算法仍採用誕生於1957年的Fortran語言或1972年發行的C語言。要想從底層重構這些演算法,既不現實也無必要,因此就需要增強相容性,讓來自“舊時代”的程式順暢地執行起來。
相比個別演算法的相容,業務系統的整體融入則是一項更為系統的工程。何文春介紹,過去氣象業務系統各自“立煙囪”的現象之所以廣泛存在,最大的原因就是各個系統有不同的需求,靠單一的模式無法完全滿足。作為首個融入“天擎”執行的業務系統,氣候監測預測分析系統(CIPAS)就有這樣的獨特需求。
進行氣候監測預測分析,需要很多帶地理資訊標記的氣象資料。按照“天擎”當時設計的五種儲存技術,處理這種資料需要在提取氣象資料和地理資訊後,再將二者進行疊加。對於CIPAS而言,這樣的模式會導致業務執行效率降低。因此,技術團隊與業務人員充分溝通,為“天擎”增加了儲存自帶地理資訊和氣象資料的空間分析庫。這樣一來,CIPAS的業務需求得到了滿足,而“天擎”的支撐能力也得到進一步提升。
以“雲原生”姿態誕生在“天擎”上的西北人工影響天氣作業指揮系統,面臨的則是完全不同的挑戰。由於後續新業務系統都將採用“雲原生”模式,因此直接在雲上開發的這一系統,需要為後來者“打樣”。經過統一開發後,西北人工影響天氣作業指揮系統“標準化”權威盡顯,在內蒙古、甘肅、陝西、青海、寧夏、新疆完成規範化部署僅用了不到三週時間。
需求與研發相互促進。以這樣的模式,“天擎”於2019年7月釋出了國家級1.0版本,具備海量資料儲存、全業務貫通、資料高效應用等能力。接下來,這個平臺還需鋪向全國。
03
拔節生長
在省級氣象部門部署“天擎”並不是一項容易的工作。一方面,“天擎”構建於全新的大資料、雲計算技術,技術門檻高;另一方面,“天擎”作為新業務技術體制的基座,規模龐大。CIMISS建成以來,省級技術力量得到增強,但對“天擎”的部署而言,仍有不足。
面對這樣的形勢,技術團隊採取開放合作的方式,大力引進省級技術人員開發建設,先後有50名來自省級氣象部門的技術人員參與。他們帶著需求來,帶著技術回,成為“天擎”在省級順利部署的骨幹力量。2019年12月,31個省級氣象部門完成部署。
國省之間緊密合作,國家級業務單位之間同樣充分聯動,有7人先後帶著需求參與建設。在國家氣象資訊中心內部,負責開發建設的系統工程室與負責使用者服務的資料服務室、負責執行維護的執行監控室配合更親密無間。
在“天擎”一步步成型的過程中,人才也在不斷成長。自投入“天擎”建設以來,團隊中有2人被聘為專業技術二級崗,3人晉升正高職稱;5人入選中國氣象局高層次人才,包括1名氣象領軍人才、1名首席氣象專家、2名青年氣象英才、1名西部和東北優秀氣象人才;4人被聘為中國氣象局重點工程副總指揮或副總師,10人被聘為一級系統總師或副總師;8人入選國家氣象資訊中心或省局高層次人才。
今年12月15日,“天擎”經過近一年的試執行後,正式業務執行,但“天擎”的建設工作,卻還遠遠沒有結束。多數國家級、省級業務系統尚待融入,人工智慧等先進技術在大資料雲平臺上的應用有待攻關。未來,在建設過程中培養出的技術團隊,將成為“天擎”進一步拔節生長最重要的原動力。
優勢
“數算一體” 將帶來哪些改變?
12月15日8時,氣象大資料雲平臺“天擎”正式業務化執行,面向全國提供“數算一體”平臺化服務。由於“天擎”在試執行中表現出色,這次切換因在情理之中而顯得“悄無聲息”,但隱藏在平靜的表面下的,則是“天擎”為氣象業務帶來的全方位、全鏈條升級。
01
推動觀測預報服務有機融合
以預報精準為龍頭,帶動監測精密和服務精細發展。要實現這樣的發展模式,“天擎”是必不可少的基礎。
各類業務系統融入“天擎”,並不僅僅意味著其在此執行和獲取資料,在業務執行中產生的資料和產品,同樣可以透過“天擎”進行規範化分享。這樣一來,各類觀測、預報、服務業務系統之間的距離就被前所未有地拉近,預報業務系統可以更高效地獲取各類觀測資料,服務系統可以更好地利用預報結論,各個系統之間共享資料、協同合作得以無縫銜接。
02
極大豐富資料資源
“天擎”提供了完整的資料資源。截至12月15日,“天擎”已經全面整合CIMISS原有資料、歷史歸檔資料、各類資料集及匯交資料,大幅增加國內外資料時間序列長度;資料資料達611種,記錄數達2214.9億條,每日新增2.96億條;全球地面、高空、海洋百年序列最早延伸至1901年,全球飛機報序列由4年延長至43年,雷達基資料序列由2年延長到13年。相比CIMISS,氣象大資料雲平臺的資料完整性、資料質量均有不同幅度提升,資料元資料資訊更完整、質量更高。
“天擎”提供了實時歷史一體化的高效資料服務。應用系統建設者或開發者,無需從各種來源尋找資料,建立收集渠道、資料清洗、解析儲存,只需申請資料使用賬戶,選擇應用需要的資料,即可高效訪問。
03
提升資料利用效能
“天擎”透過升級完善的資料儲存技術,進一步降低了業務執行的時間成本。基於訊息中介軟體、資料流、檔案傳輸、衛星廣播以及網路爬蟲技術,“天擎”建立了多協議支撐的資料交換體系,能夠主動發現、自動收集各類資料,收集的同時即可處理。
針對氣象業務特點,“天擎”構建了分散式儲存體系,面向應用對資料進行再組織。面向天氣預報等對實時性要求高的資料,採用分散式表格系統,訪問時效達毫秒級;面向氣候等長序列分析應用,採用分散式分析型資料庫,分析時效達到秒級。此外,針對中間結果、實驗資料等自用資料,支援個性化儲存,儲存空間一次分配、自由使用。
04
降低應用開發成本
“天擎”提供了豐富的演算法和算力資源,可有效降低應用開發成本,縮短上線週期。作為應用系統建設者或開發者,無需進行硬體資源的採購、安裝、部署和維護,只需提交應用融入方案,申請演算法執行依賴的算力資源。同時,也無需對應用需要的所有演算法進行開發,透過申請使用演算法庫中共享的演算法,實現演算法複用,眾智共享。
對於應用中產品加工需要的儲存資源,透過申請“天擎”應用專題庫,不必自建獨立資料庫,大大降低運維成本,提高資料共享水平,有利於進行多源資料聯合分析。業務中產品的加工和生成,不僅需要相應的資料和算力,還需建立任務排程框架。“天擎”提供的加工流水線,實現了多種任務引擎排程,包含時間觸發、資料來源觸發、事件觸發等,演算法選擇相應的排程引擎即可配置任務,應用只需關注演算法實現邏輯。
融入
全面“雲化” 增效數倍
自“天擎”建設以來,各級氣象部門業務系統陸續開展融入工作,高效協同效益初步顯現。目前,“天擎”7×24小時不間斷執行,國家級及31個省級持續執行可靠性超過99.9%,國家級和省級的任務排程成功率均達100%,排程延遲控制在毫秒級。
氣候監測預測分析系統(CIPAS)
融入情況:系統架構全面“雲化”,系統性能全面提升。
CIPAS融入後系統架構全面“雲化”,實現資料、流程、平臺和監控全面融入。系統以預報員體驗為中心,在資料訪問、加工、演算法執行、圖形視覺化與產品生成等方面的效能得到全面提升,資料平均查詢時間縮減超過50%,70%以上需要長時間計算、定時生成的產品改為實時互動獲取;實現CIPAS3.0全國一級部署、業務試用。
西北區域人工影響天氣作業指揮軟體系統
融入情況:“雲原生”開發,規範化部署便捷高效。
該系統基於“天擎”完成“雲原生”模式的研發,並在6個省份完成統一規範化部署。第十四屆全國運動會期間,基於“天擎”提供的穩定計算和儲存資源支撐,該系統圓滿完成保障任務。
集約化網格預報新流程
融入情況:在預報實時訂正和預報一致性方面發揮關鍵作用。
基於“天擎”國省“一張網”,國家氣象中心與北京、河北建成從網格預報製作到資料應用全鏈條的智慧網格預報新流程,並基於這一新流程加工製作2022年冬季奧運會賽區及周邊城市站點預報。從預報員訂正釋出,到應用系統獲取修訂的預報資訊,全流程僅需數十秒,在預報實時訂正和預報一致性方面發揮關鍵支撐作用。
綜合氣象觀測業務執行資訊化平臺(“天元”)
融入情況:資料與演算法集約管理,冗餘度降低30%。
“天元”是首個完成改造並融入“天擎”的核心業務系統。融入後,資料與服務資源的集約化能力提升50%以上,產品加工時效提升30%以上,支撐了觀測業務的資訊化高效運轉,併為後續專案融入提供參考示範;實現元資料“天擎”統一服務。
區域高解析度數值預報檢驗評估系統
融入情況:資料讀取效率有效提升,推動演算法集約化管理。
該系統完全基於“天擎”開發建設,實現區域數值預報降水的傳統檢驗、空間檢驗和過程評估,以及近地面要素檢驗。資料讀取效率有效提升,實現模式資料與觀測資料的直存直取。基於“天擎”產品加工流水線切實推動演算法集約化管理,完成系統軟硬體的實時監控。
雷達估測降水系統
融入情況:系統流程最佳化,時效提升近一倍。
實現雷達基資料從“天擎”讀取、演算法基於加工流水線排程執行、雷達產品回寫“天擎”,以及基於“天鏡”的全流程監視。系統融入“天擎”後,流程更優,減少了資料搬運環節,資料來源直取、產品直存,產品服務時效提高近一倍。
寧夏智慧化綜合氣象業務服務共享管理平臺
融入情況:資料入庫時效提升一倍,業務系統查詢、統計資料效率提高3~4倍。
資料、演算法、系統、監控等同步開展融入工作,核心業務系統實現功能模組重構。依託“天擎”的儲存和算力資源,業務系統執行效率得到顯著提升,資料入庫時效提高了一倍,業務系統查詢、統計資料的效率提高了3~4倍。
湖北省氣象預報服務業務一體化平臺
融入情況:100餘種業務服務產品接入,82個演算法剝離入“雲”。
核心系統全面融入“天擎”,消除自建資料庫,100餘種業務服務產品接入,82個演算法剝離入“雲”。融入後業務流程更加規範,資料及時性、演算法執行效率和硬體資源利用率均顯著提升。