大資料文摘出品
“敏捷是企業在移動網際網路時代的重要競爭力。”
在12月2日舉辦的2021火山引擎雲產品釋出會上,位元組跳動副總裁楊震原反覆強調,位元組跳動以敏捷為核心目標構建了雲原生架構,支撐著公司業務快速創新、快速迭代。
的確,或許沒有哪家公司比位元組跳動更理解“敏捷”的意義。從央視春晚紅包27天備戰,到資料中心每天兩萬次的線上變更,這些“敏捷迭代”和創新背後,都離不開位元組跳動的“雲”以及一系列雲產品。
以演算法起家,位元組在超大規模資料明細查詢工具上積累了大量的實踐經驗,本次釋出會上,位元組跳動旗下的技術服務平臺火山引擎釋出的ByteHouse雲數倉版便是集大成者。
在講ByteHouse的故事之前,我們先來看一組火山引擎釋出的資料:作為目前國內幾乎是ClickHouse最大叢集的使用客戶,位元組內部的ClickHouse節點總檯數達15,000臺,單叢集最大規模約2400臺,管理資料量達到600Pb,日均查詢量7500萬。
這些數字量背後,勾勒的是一個超大規模資料分析服務領域的完美測試場景。能在高速增長的業務現況下,透過技術最佳化讓叢集規模不再跟著業務增長而增長——是ByteHouse誕生時要解的問題。
從2018年著手,到2021年產品成熟,經過4年打磨和積累,位元組將這些能力和實踐全都整合到了ByteHouse的產品功能裡。如今,ByteHouse在位元組內部,已支援80%的分析應用,包括廣告業務、使用者增長、A/B測試、演算法模型最佳化等等。
應對企業紛繁多樣的需求,雲原生是統一解法
憑藉著設計優勢、極致的速度效能與靈活可擴充套件性,ClickHouse在短時間內迅速躥紅。
但越來越多人在使用中發現,隨著節點數的增加,只依賴於原生引擎必然會導致更多的人力介入和更高的運維成本。同時,傳統儲存和OLAP技術架構誕生了一系列複雜問題和挑戰:無法支撐實時分析需求,資源利用率偏低,啟動門檻和成本偏高等問題。
針對業界此類痛點,火山引擎提出了自己的解決方案——發力雲原生,推出ByteHouse雲數倉版。
在12月2日的火山引擎雲產品釋出會上,ByteHouse雲數倉版重磅亮相。據悉,雲數倉版已經實現了“四個零”的突破——零分析時延、零啟動門檻、零運維成本和零廠商依賴。
以此為契機,ByteHouse雲數倉版也將作為位元組跳動“敏捷開發”和“資料驅動”的對外輸出,服務更多使用者。
從架構層面入手,存算分離,PB級資料秒級響應
作為下一代OLAP引擎,ByteHouse雲數倉版將目光對準了架構層面。透過採用存算分離的架構,將儲存層和計算層解耦,以實現分別無縫擴充套件儲存資源和計算資源,面對PB級海量資料也能高效分析,秒級響應。
ByteHouse雲數倉版產品架構
資源層面,ByteHouse雲數倉版能做到更好的資源隔離。在新一代架構裡,ByteHouse引入了多租戶,這也是很多大型銀行的剛性需求。針對不同的租戶、不同的資料,可以分配不同的計算資源,一方面保證效能可控,另一方面可以清楚地看到不同部門和使用者的資料與資源使用情況。
這背後是ByteHouse對於雲原生的理解——產品雲化僅僅是雲市場化的一個表象,更深層的邏輯還是要落腳到雲原生上,而云原生的本質便是降低使用者的使用成本,和提升使用者的使用體驗,這其中包括了運維、付費和啟動等一系列要素。
例如在啟動門檻上,基於純SaaS的OLAP體驗和標準SQL,ByteHouse雲數倉版能在無需關注部署配置的基礎上,實現1分鐘註冊即可使用,方便業務使用者自助分析,同時還支援按需啟用計算組,並支援按照分鐘級粒度即用即付,pay as you go。
ByteHouse雲數倉版的接入流程
不斷內外相容,多角度支援資料安全
解決市面上現有的開源引擎多年來面臨的問題,然後將這些經驗和實踐變成更好用的產品,這是火山引擎的第一步。但這還遠遠不止,ByteHouse技術負責人表示,他們接下來還想透過雲原生的升級,逐步迭代和發展技術,從而幫助更多客戶。
在雲產品的相容上,ByteHouse也表示會就上下游的資料產品和工具進行更進一步的相容,比如Tableau等BI工具。針對私有云部署,ByteHouse也會根據金融等行業客戶的需求,針對特有的環境做出相容和適配,以複用客戶的虛擬機器、K8S和儲存等資源。
在未來實現較好的相容性後,怎樣降低使用者遷移業務的成本,這也是需要兼顧的。針對此,火山引擎也會為客戶準備遷移方案,以降低客戶的使用和遷移成本。
在近年來備受關注的資料安全問題上,ByteHouse雲數倉版也有一套自己的解決方案。
首先在使用者訪問層面,透過支援RBAC的使用者訪問方式,以更好地實現賬號管理和許可權控制。在更底層的層面上,檔案層面也做了資料的加密,只有透過金鑰的形式才能解碼其中的一些檔案。甚至也有客戶會提出通訊層面的要求,在分散式過程中存在不同的節點,透過SSL的協議來保障通訊的安全。同時,在對接雲廠商時,ByteHouse也會相容雲廠商本身提供的一些安全機制。
在12月2日的釋出會上,火山引擎總經理譚待表示,為了建設開放的雲生態,火山引擎的目標是在未來3年聯合一千家合作伙伴、助力十萬家客戶實現數字化轉型。
作為這一“萬有計劃”的重要組成部分,ByteHouse雲數倉版也在進行著充分的準備。