12月17日，由中國資訊協會大資料分會主辦的“2021中國大資料技術應用大會”在北京圓滿落幕。來自中國資訊協會、中國工程院、國家資訊中心、中國軟體評測中心、中國金融認證中心等的權威專家、知名企業代表出席本次大會，對大資料的需求、應用和產業發展進行了深度探討。大會重磅釋出“2021中國大資料應用樣板100例”，「DataPipeline助力山東城商行聯盟構建企業級資料庫準實時資料採集系統」案例成功入選。

《2021中國大資料應用樣板100例》意在表彰2021年度實施的重點大資料標杆案例，案例資訊將被呈報到國務院各直屬機構資訊中心、各省市經濟和資訊化主管部門、各大央國企等龍頭企業、國家及省級產業聯盟協會等，為相關部門提供數字化轉型方案應用範本及決策參考，並起到行業示範引領效應。

實時資料管理業務創新發展必然保障

作為全國唯一持有金融牌照的中小銀行金融科技服務公司，山東城商行聯盟為中小銀行提供全方位的資訊科技解決方案以及多元服務，致力於打造賦能中小銀行、開放共享的金融科技生態平臺。

山東城商行聯盟認為，中小金融機構是普惠金融的主要力量。當前經濟社會網際網路化、數字化程度正在快速加深，普惠金融的消費模式和金融服務供給模式正在發生深刻變化的形勢下，只有藉助金融科技的力量，實現傳統普惠金融服務與管理、運營模式向數字化普惠金融的轉變，才能有效獲客、有效控制傳統模式下難以控制的金融風險，才能提高普惠金融的服務觸達範圍和能力，進而實現普惠金融的可持續發展。

經過10多年的電子化發展、資訊化建設，山東城商行聯盟積累了海量的資料，如何利用好這些資料成為了聯盟應對新形勢挑戰、謀求轉型發展的重要課題。相對於大型商業銀行，降低運營成本、提升客戶體驗、提高營銷能力等轉型工作對於以山東城商行聯盟為代表的的城市商業銀行在科技創新發展上更為關鍵。

隨著資料應用的深入，成員行業務部門不斷提出更復雜的實時資料加工需求，新需求的加工複雜度持續升高、使用場景持續擴充套件、交付效率持續加快、運營質量要求持續提升。為提升實時資料支撐能力，山東城商行聯盟開始啟動實時資料體系建設。該體系需要實現綜合業務系統CBUS、外聯業務處理平臺XBUS、ESB服務匯流排、電子銀行等系統的資料實時採集、同步、分發。如何打通Oracle、IBM DB2、MySQL、Kafka等多種資料管理技術，實現每日產生的數億條資料的整合，成為聯盟亟待解決的問題。

攜手DataPipeline構築全域資料管理基礎平臺堅實底座

山東城商行聯盟在過往服務成員行過程中，業務端在取數時，首先需要將各資料來源透過CDC模式將資料實時同步至中間庫；其次，源端資料同步至中間庫後，透過CDC實時下發至各個下游用數方。在該過程中，由於上游發版頻繁，中間庫的資料結構均需要相應變動，資料同步過程中系統維護工作量較大地影響了資料應用方的取數時效性。為了能夠更好地服務聯盟成員行，山東城商行聯盟需要重新構建統一的資料庫準實時資料採集系統，實現透過資料流平臺近實時地向各外圍系統供數的目的，進而及時高效地支援成員行的運營、市場、銷售等實時業務需求。

企業級資料庫準實時資料採集系統架構圖

山東城商行聯盟透過產品調研、可行性分析、POC驗證，選擇DataPipeline數見科技作為合作伙伴共同完成資料庫實時資料採集系統專案的實施。其主要原因為：DataPipeline企業級實時資料融合平臺可實現資料的秒級實時採集，產品具備統一易用的人性化操作介面，豐富的配置策略可實現對資源的高效充分利用，產品同時具有標準化遵循與前瞻性判斷前提下的開放可擴充套件性，當然最重要的是其金融級的穩定高容錯能力。DataPipeline助力山東省城商行聯盟構建的企業級資料庫實時資料採集系統對於推動聯盟實現數字化轉型、資料規範化和集約化管理、賦能企業經營及增強其持久核心競爭力具有重要意義。方案技術亮點包括：

>>穩定高容錯

具備足夠的策略配置與容錯機制來應對上下游系統不穩定帶來的不確定性。

1.提供完善的結構變化應對策略，能夠按照不同的場景進行取捨與配置，從而保證自身的穩定性。

2.擁有強大的反壓處理機制和靈活的讀取、寫入限制配置，可以透過控制讀取速率、並行度、批次大小的方式，實現增量資料反壓的處理，從而保證自身的穩定性。

3.提供預設策略在無計劃的網路不可用、出現未知異常等情況下進行重新連線，重置執行緒乃至重啟任務等自動化操作，從而保證自身的穩定性。

>> 便捷可管理

具備配置便捷，部署便捷，分層管理，按需服務的可管理特性。

1.配置式鏈路定義，無程式碼任務構建，執行管理，運維管理配置化，從原有的研發模式轉變為系統配置管理模式。

2.容器化部署、系統資源註冊、負載平衡機制和高度配置化的系統資源分組管理。

3.對資料節點註冊、資料鏈路配置、資料任務構建、系統資源分配等各個環節能夠分層次、分使用者進行解耦。

4.將資料獲取的範圍、資料任務的生命週期、系統資源投入的多寡等配置交給使用資料的人員。

>> 開放可擴充套件

開放可擴充套件的前提在於標準化的遵循與技術趨勢的前瞻性判斷。

1.適應不同的資料管理技術，為使用者提供基於開放式、國際通用標準的自定義資料節點。

2.支援不同型別資料節點標準化語義定義，多元異構語義融合，使用者可以自定義節點間語義轉化關係，保證實時資料融合過程順利有效。

3.將三類配置解耦，可以在不改變基本邏輯架構的情況下，實現配置和功能的良好擴充套件。適應實時資料融合管理機制的不斷髮展。

向實時資料要效益激發運營與管理數智化再升級

自專案實施以來，系統實現Oracle、IBM DB2、MySQL、Kafka等多種資料庫近實時的資料採集功能，並對資料來源建立高效的管理功能，實現對資料來源、目的地的資料連線統一管理管理，透過介面進行資料來源與目的地註冊，刪除資料來源，同時根據需求不斷迭代支援新的資料庫。

利用解析資料庫歸檔日誌的方式，系統實現秒級的資料變更捕獲，將解析的變更記錄傳送到資料目的地中，包括日誌中提取資料變更的增、刪、改等DML操作記錄，以及新增表、刪除表、新增欄位、刪除欄位等自動同步到目的地中 。

全域資料實時融合的價值愈發重要，是加速資料流通、從而提升經營效率構建差異性競爭優勢的重要手段。該專案平臺實現各系統的打通與關聯，覆蓋多層次客戶服務體系，強化了線上業務服務和資產配置等綜合實力。該專案的實施提升了幾十家成員行的獲客能力和精準個性化服務水平，助力成員行運營與管理數智化再升級。同時，簡單易用的資料同步機制可以降低應對各種實時資料應用場景的成本，提高資料的複用度，高效釋放資料價值。

山東城商行聯盟資料庫準實時資料採集系統的實施是堅持市場驅動和創新驅動，充分發揮技術和資料要素價值的具體體現，在業界又創立一個數據管理典範並形成了可複製經驗。未來，聯盟也將進一步發揮全域資料管理基礎平臺優勢，以“賦能中小銀行，簡單金融科技”為使命，一如既往為金融機構提供全方位、高水平的資訊科技服務。