資料中臺被譽為大資料的下一站,核心思想是資料共享。資料中臺距離業務更近,可以為業務提供速度更快的服務。資料中臺將資料生產為資料API 服務,以更高效的方式提供給業務,是加速企業從資料到業務價值過程的中間層。
資料中臺存在哪些資料安全隱患?
資料中臺天然具有開放性和高效性的特點,強調效率的同時帶來了不容忽視的資料安全隱患。在資料中臺中,資料全生命週期涉及到的安全風險涵蓋了資料採集、資料傳輸、資料儲存、資料處理、交換共享使用五個環節。
昂楷新技術攻克資料中臺安全問題
昂楷科技磐石研究院針對國內主要的阿里雲、華為雲資料中臺的資料特性和業務支撐要求:
API型別多,需要兼顧各種場景的資料共享;
資料量大,每日增量資料量大;
業務快速響應,脫敏實時性高;
脫敏工作量巨大,系統承載高等。
集中精力攻克難關,聚焦於這兩類資料中臺打造資料中臺安全脫敏系統,成功實現了阿里雲RDS、阿里雲Maxcompute、華為雲 FusionInsight、華為雲GaussDB(DWS)資料中臺的資料脫敏。雲資料中臺和昂楷資料脫敏的架構關係如下圖所示:
雲資料中臺作為後臺的資料資源重組機構,承擔著業務資料向資料資產的轉化。重整後資料價值進一步提高,並且可以直接由資料資產轉化價值資源。所以在中臺部分必須重構資料安全方案,同時按照資料使用的業務環境進行目標牽引。昂楷資料脫敏系統整體方案示意圖如下:
昂楷科技資料脫敏支援容器雲場景下,透過叢集部署架構,管理多臺脫敏系統實現平行計算、負載均衡、任務單元智慧分配,以及故障節點自動接管。針對資料中臺業務量大的特徵,採用多執行緒技術最佳化中間過程。
叢集部署模式價值點
第一,效能大幅度提升。透過叢集部署,增加了脫敏處理的吞吐量,滿足了客戶在有限時間週期內大資料量脫敏處理的應用場景。
第二,系統高可用。彌補了單一脫敏裝置在資料處理過程中遇到網路環境異常、裝置異常等突發事件帶來的任務中斷,保證系統的高可用性。
昂楷脫敏系統針對雲資料中臺生命週期過程中的資料安全風險,主要實現了以下困難問題的解決。
透過多個專案驗證,昂楷資料脫敏系統的價值體現如下,最大限度的實現了脫敏工作自動化;多種脫敏演算法保留了不同業務的資料價值;多節點多執行緒處理任務, 實現主流資料庫脫敏效能提升1倍以上和大資料庫元件脫敏效能提升12倍以上,增量資料脫敏分鐘級“準”實時同步,無丟包無失效。