12月17日,由中國資訊協會大資料分會主辦的2021中國大資料技術應用大會在京開幕,近400位國內外政產學研用各方專家出席大會,就大資料技術的全面落地、縱深發展展開深入探討,並於現場重磅釋出2021中國大資料應用樣板案例評選結果。Aloudata大應科技作為中國資訊協會大資料分會會員單位受邀出席,並憑藉『Aloudata自適應查詢加速引擎助力銀行實現敏捷高效能資料洞察』案例所呈現的資料智慧領域核心技術突破入選《2021中國大資料應用樣板100例》。
《2021中國大資料應用樣板100例》是中國資訊協會大資料分會以推動資料智慧行業應用為宗旨,面向千行百業所評選出的大資料應用優秀成功案例。此次入選案例『自適應查詢加速引擎助力銀行實現敏捷高效能資料洞察』,正是Aloudata在加速銀行業資料基礎設施轉型升級方面所取得的實踐成果。
案例背景
據麥肯錫調查結果顯示,75%的企業無法對其掌握的資料進行深入利用。究其原因,多數企業欠缺強大的敏捷資料運營工具,無法將“資料驅動決策”的思維融入各個部門。
某國內最早開始佈局資料平臺的頭部股份制銀行所建設的統一商業智慧平臺近年來逐步支撐了行內公金、投金、零售、私行、財會、運營、風險等條線的資料分析產品及分行部分資料應用建設,在推行“業務自助用數”方面取得了顯著成效。
客戶痛點
根據最新統計,該銀行全行BI分析產品使用者月活已達到20000+,月請求量突破100w+,報表突破3000張,業務自助製作報表已經成為主流。
然而隨著資料量和資料需求的日益增長,分析師自助製作的資料分析報告普遍面臨著報告首屏3s內開啟率不高、無法針對重點報告定製化效能最佳化、重點及熱點報告訪問效能難以保障、效能最佳化強依賴人工,難以支援動態變化的業務需求、最佳化後維持時間較短等諸多挑戰,進而制約了敏捷業務運營效能的提升——透過分析發現,80%以上效能不達標的查詢請求,是因為無法命中最佳CuboID。
解決方案
基於上述問題,Aloudata對該行分析平臺架構進行了升級,在資料來源與分析報告之間加入了Aloudata資料加速引擎,該引擎透過基於場景端資料查詢需求對資料來源進行智慧物化加速的能力,實現了對報告查詢效能的自適應最佳化,大幅提升了VIP報告中熱點查詢的效能,加速後平均耗時明顯低於加速前;同時讓業務部門擺脫了報告製作、效能最佳化等工作對專業技術人員的強依賴。
方案整體示意圖如下:
如上圖所示,Aloudata資料加速引擎是介於資料來源和分析軟體(如Tableau等)之間的加速層,Aloudata資料加速引擎透過觀察場景端使用者行為,智慧生成加速方案,從資料來源中抽取資料進行預計算物化加速,進而減少即席查詢過程中的計算量,實現了查詢效能提升;在2.0版本中,Aloudata資料加速引擎透過直連資料倉庫,基於內建的高效能多模資料分析引擎,進一步降低了報表製作及效能最佳化對IT人員的依賴和架構複雜度,最終實現了敏捷、高效能的資料洞察體驗。
方案價值
基於上述方案,專案組在行內選取了100張VIP報告進行了查詢加速,透過對比發現,加速後平均耗時較加速前大幅降低,平均效能提升78.25倍。
在單條SQL查詢方面,對總共3486條加速後的SQL查詢耗時進行統計分析發現,99.2%的SQL查詢都在1秒內,其中91.19%的查詢在250毫秒以內,而加速前原資料來源有81%的查詢大於1秒,整體效果提升非常明顯。
在金融業落地新基建、加速數字化轉型的今天,行業對資料基礎設施的要求也在不斷提高。資料基礎設施之於金融業,已經不僅僅是業務的基礎技術支撐,而是逐漸升級為驅動金融業務創新轉型的平臺和底座。高靈活高時效的分析場景是數字化經濟的必然趨勢,更是金融業打破組織邊界、體驗數字化營銷魅力的必要前提。隨著業務和需求的不斷髮展,在支援更多場景的同時降低人力投入,是自適應加速引擎未來迭代的方向。Aloudata將在產品和技術上不斷精進,積極推動金融行業資訊基礎設施的轉型升級,在保證安全、穩定、可靠的同時,致力於提供快捷、高效的處理能力,以更好滿足金融業務未來的發展需要。