編輯導讀:“中臺”是前臺和後臺的連結點,將業務共同的工具和技術予以沉澱。而中臺細分下來也有很多類目,比如資料中臺,很多人不知道它和資料倉庫、商業分析有什麼區別。本文作者對此進行了分析,與你分享。
“中臺”這個概念,是相對於前臺和後臺而生,是前臺和後臺的連結點,將業務共同的工具和技術予以沉澱。相對於業務中臺來講,資料中臺跟企業的業務有較強的關聯性,是企業業務和資料的沉澱,如果在煙囪林立的各財務業務系統之上搭建共享的資料中臺,其不僅能降低重複建設和減少煙囪式協作的成本,也是企業差異化競爭優勢所在。
然而,當說到資料中臺這裡,很多人就有了疑問,以前沒有資料中臺這個概念時,企業不是也建設了資料倉庫、商業分析之類的東西嗎?對比這個有什麼區別?不就是換了個概念和馬甲嗎?
一、資料中臺與數倉的區別
首先可以先看看專業的資料中臺的白皮書是怎麼說的:資料中臺是一站式解決平臺,從資料整合、大資料計算、資料治理、資料工具、資料模型、資料應用、市場整合完整一套綜合解決方案及產品系列。
而資料倉庫平臺逐步從BI報表為主到分析為主、到預測為主、再到操作智慧為目標。資料倉庫系統的作用能實現跨業務條線、跨系統的資料整合,為管理分析和業務決策提供統一的資料支援。
但資料中臺從某個意義來說也屬於數倉的一種,都是要把資料抽進來建立一個數據倉庫。但是兩者的資料來源和建立數倉的目標以及資料應用的方向都存在很大差異。
首先,從資料來源來說,資料中臺的資料來源期望是全域資料包括業務資料庫,日誌資料,埋點資料,爬蟲資料,外部資料等。資料的來源可以是結構化資料或者非結構化的資料。而傳統數倉的資料來源主要是業務資料庫,資料格式也是以結構化資料為主。
資料中臺不單單指系統或者工具,而是一個職能部門,透過一系列平臺、工具、流程、規範來為整個組織提供資料資產管理和服務的職能部門。資料中臺負責全域資料採集、資料資產加工和管理、並向前臺業務部門和決策部門提供資料服務。所以,資料中臺的核心應該是資料資產管理和資料賦能,通俗的講就是資料彈藥庫。
1. 資料來源不同
資料中臺的資料來源期望是全域資料,包括:業務資料庫,日誌資料,埋點資料,爬蟲資料,外部資料等,資料的來源可以是結構化資料或者非結構化的資料。
而傳統數倉的資料來源主要是業務資料庫,資料格式是以結構化資料為主。
2. 建立的目標不同
目標是為了融合整個企業的全部資料,打通資料之間的隔閡,消除資料標準和口徑不一致的問題。
資料中臺通常會對來自多方面的的基礎資料進行清洗,按照主題域概念建立多個以事物為主的主題域。比如會員域,商品域,渠道域,門店主題域等等。
資料中臺遵循三個One的概念:One Data, One ID, One Service,就是說資料中臺不僅僅是匯聚企業各種資料,而且讓這些資料遵循相同的標準和口徑,對事物的標識能統一或者相互關聯,並且提供統一的資料服務介面。就像做菜一樣,按照標準化的菜名,先把所有可能用到的材料都準備好。
而傳統的數倉主要用來做BI的報表,目的性很單一,只抽取和清洗相關需要使用到的基礎資料,進行建倉,然後再用來做領域分析,有的時候可能因為新增一張報表,就要從底層到上層再做一次加工和處理。
3. 資料應用方面不同
建立在資料中臺上的資料應用不僅僅只是面向於BI報表,更多面向營銷推薦,使用者畫像,AI決策分析,風險評估等。這些應用的特點比較輕,容易快速開發出來,因為重要的資料分析工作在資料中臺已經完成並且沉澱,所以之前工作成果都能被多個應用共享。
而傳統的資料倉庫主要是面向報表或者高階視覺化,資料應用的建設一般是面對相對確定的主題內容,在諸如資料建模,進行資料追蹤與探查,深度挖掘層面存在較大的侷限性。
4. 依賴平臺不同
資料中臺一般都是建立在分散式計算平臺和儲存平臺,理論上可以無限擴充平臺的計算和儲存能力。
而多數的傳統數倉工具只是建立在傳統關係資料庫和單一伺服器部署的基礎上,一旦資料量變大,很容易出現儲存、效率、計算的問題,其後續擴充存在較大的成本和時間。
二、資料中臺經歷的階段
事實上,阿里巴巴很早便開始運用中臺模式滿足業務需求,並於 2015 年正式提出中臺戰略。中臺戰略的原理是將不同業務通用的工具和技術加以沉澱,成立專門的中臺部門,這樣新的業務需求可以不再重新設計,避免因重複的功能建設和維護造成資源浪費。
構建靈活、多變的組織機制和業務機制是阿里巴巴建立資料中臺的戰略核心。各行業的領頭企業也開始對資料中臺、數字化轉型進行積極探索,力求以資料智慧的方式實現生產經營的智慧化和精細化管理。
2018 年 8 月末,騰訊宣佈組織架構變革,成立技術委員會,未來將打造技術中臺。與此同時,京東、華為、美團等不同業務領域的網際網路公司均著手改革組織架構,積極打通資料平臺,構建資料中臺。至此,資料中臺由概念逐漸變為現實,資料智慧賦能業務,用更低的成本、更高的效率為使用者服務的模式逐漸被認可,資料中臺得到進一步發展,掀起了一波數字化轉型的浪潮。
而我們從阿里資料中臺發展歷程,可以看到大概經歷以下4個階段:
- 資料庫階段,主要是OLTP(聯機事務處理)的需求;
- 資料倉庫階段,OLAP(聯機分析處理)成為主要需求;
- 資料平臺階段,主要解決BI和報表需求的技術問題;
- 資料中臺階段,透過系統來對接OLTP(事務處理)和OLAP(報表分析)的需求,強調資料業務化的能力;
那麼,資料中臺這個階段有什麼特徵?
其顯著的特徵就是資料量的指數級增長,從PB邁向了EB級別。
這個數量級的變化主要來源於IOT(物聯網)的發展起來,帶動了檢視聲(影片、影象、聲音)資料的增長,這些資料需要視覺計算技術、影象解析的引擎+影片解析的引擎+音訊解析的引擎來轉換成結構化資料;來源於線下要想和線上一樣,透過資料來改善業務,就要和線上一樣能做到行為可監測,資料可收集,這是前提。
線下最大量的就是檢視聲資料,依靠IOT技術和演算法的進步,最終會透過智慧端來自動化獲取資料;要使用這些資料,光有視覺演算法和智慧端也不行,還要有云來儲存和處理這些資料,以及打通其他領域的資料。
綜合這個階段特徵,我們看到依靠傳統的資料倉庫方法已經全然不能滿足企業大資料量、非結構化、分散式儲存的需求。還需要基於IOT裝置收集資料、基於雲端儲存資料、基於AI演算法和雲計算進行應用。
未來的資料中臺,一定是AI驅動的資料中臺。
這個中臺包括計算平臺+演算法模型+智慧硬體,幫助企業去打通業務資料,最終建立線上線下觸達和服務消費者的能力。中臺不僅僅是系統,亦是一套方法論,中臺最重要的價值在於從“管理線上”到“業務線上”。真正做到“一切業務資料化,一切資料業務化”。
本文由 @國雲資料 原創釋出於人人都是產品經理。未經許可,禁止轉載。
題圖來自Unsplash,基於CC0協議。