sponsored links

PB級資料秒級響應!火山引擎ByteHouse雲數倉版有啥“秘密武器”

PB級資料秒級響應!火山引擎ByteHouse雲數倉版有啥“秘密武器”

大資料文摘出品

敏捷是企業在移動網際網路時代的重要競爭力。”

在12月2日舉辦的2021火山引擎雲產品釋出會上,位元組跳動副總裁楊震原反覆強調,位元組跳動以敏捷為核心目標構建了雲原生架構,支撐著公司業務快速創新、快速迭代。

的確,或許沒有哪家公司比位元組跳動更理解“敏捷”的意義。從央視春晚紅包27天備戰,到資料中心每天兩萬次的線上變更,這些“敏捷迭代”和創新背後,都離不開位元組跳動的“雲”以及一系列雲產品。

演算法起家,位元組在超大規模資料明細查詢工具上積累了大量的實踐經驗,本次釋出會上,位元組跳動旗下的技術服務平臺火山引擎釋出的ByteHouse雲數倉版便是集大成者。

在講ByteHouse的故事之前,我們先來看一組火山引擎釋出的資料:作為目前國內幾乎是ClickHouse最大叢集的使用客戶,位元組內部的ClickHouse節點總檯數達15,000臺,單叢集最大規模約2400臺,管理資料量達到600Pb,日均查詢量7500萬

這些數字量背後,勾勒的是一個超大規模資料分析服務領域的完美測試場景。能在高速增長的業務現況下,透過技術最佳化讓叢集規模不再跟著業務增長而增長——是ByteHouse誕生時要解的問題。

從2018年著手,到2021年產品成熟,經過4年打磨和積累,位元組將這些能力和實踐全都整合到了ByteHouse的產品功能裡。如今,ByteHouse在位元組內部,已支援80%的分析應用,包括廣告業務、使用者增長、A/B測試、演算法模型最佳化等等。

應對企業紛繁多樣的需求,雲原生是統一解法

憑藉著設計優勢、極致的速度效能與靈活可擴充套件性,ClickHouse在短時間內迅速躥紅。

但越來越多人在使用中發現,隨著節點數的增加,只依賴於原生引擎必然會導致更多的人力介入和更高的運維成本。同時,傳統儲存和OLAP技術架構誕生了一系列複雜問題和挑戰:無法支撐實時分析需求,資源利用率偏低,啟動門檻和成本偏高等問題。

針對業界此類痛點,火山引擎提出了自己的解決方案——發力雲原生,推出ByteHouse雲數倉版。

在12月2日的火山引擎雲產品釋出會上,ByteHouse雲數倉版重磅亮相。據悉,雲數倉版已經實現了“四個零”的突破——零分析時延、零啟動門檻、零運維成本和零廠商依賴

以此為契機,ByteHouse雲數倉版也將作為位元組跳動“敏捷開發”和“資料驅動”的對外輸出,服務更多使用者。

從架構層面入手,存算分離,PB級資料秒級響應

作為下一代OLAP引擎,ByteHouse雲數倉版將目光對準了架構層面。透過採用存算分離的架構,將儲存層和計算層解耦,以實現分別無縫擴充套件儲存資源和計算資源,面對PB級海量資料也能高效分析,秒級響應。

PB級資料秒級響應!火山引擎ByteHouse雲數倉版有啥“秘密武器”

ByteHouse雲數倉版產品架構

資源層面,ByteHouse雲數倉版能做到更好的資源隔離。在新一代架構裡,ByteHouse引入了多租戶,這也是很多大型銀行的剛性需求。針對不同的租戶、不同的資料,可以分配不同的計算資源,一方面保證效能可控,另一方面可以清楚地看到不同部門和使用者的資料與資源使用情況。

這背後是ByteHouse對於雲原生的理解——產品雲化僅僅是雲市場化的一個表象,更深層的邏輯還是要落腳到雲原生上,而云原生的本質便是降低使用者的使用成本,和提升使用者的使用體驗,這其中包括了運維、付費和啟動等一系列要素。

例如在啟動門檻上,基於純SaaS的OLAP體驗和標準SQL,ByteHouse雲數倉版能在無需關注部署配置的基礎上,實現1分鐘註冊即可使用,方便業務使用者自助分析,同時還支援按需啟用計算組,並支援按照分鐘級粒度即用即付,pay as you go。

PB級資料秒級響應!火山引擎ByteHouse雲數倉版有啥“秘密武器”

ByteHouse雲數倉版的接入流程

不斷內外相容,多角度支援資料安全

解決市面上現有的開源引擎多年來面臨的問題,然後將這些經驗和實踐變成更好用的產品,這是火山引擎的第一步。但這還遠遠不止,ByteHouse技術負責人表示,他們接下來還想透過雲原生的升級,逐步迭代和發展技術,從而幫助更多客戶。

在雲產品的相容上,ByteHouse也表示會就上下游的資料產品和工具進行更進一步的相容,比如Tableau等BI工具。針對私有云部署,ByteHouse也會根據金融等行業客戶的需求,針對特有的環境做出相容和適配,以複用客戶的虛擬機器、K8S和儲存等資源。

在未來實現較好的相容性後,怎樣降低使用者遷移業務的成本,這也是需要兼顧的。針對此,火山引擎也會為客戶準備遷移方案,以降低客戶的使用和遷移成本。

在近年來備受關注的資料安全問題上,ByteHouse雲數倉版也有一套自己的解決方案。

首先在使用者訪問層面,透過支援RBAC的使用者訪問方式,以更好地實現賬號管理和許可權控制。在更底層的層面上,檔案層面也做了資料的加密,只有透過金鑰的形式才能解碼其中的一些檔案。甚至也有客戶會提出通訊層面的要求,在分散式過程中存在不同的節點,透過SSL的協議來保障通訊的安全。同時,在對接雲廠商時,ByteHouse也會相容雲廠商本身提供的一些安全機制。

在12月2日的釋出會上,火山引擎總經理譚待表示,為了建設開放的雲生態,火山引擎的目標是在未來3年聯合一千家合作伙伴、助力十萬家客戶實現數字化轉型。

作為這一“萬有計劃”的重要組成部分,ByteHouse雲數倉版也在進行著充分的準備。

分類: 娛樂
時間: 2021-12-08

相關文章

賈靜雯慶47週歲生日曬全家福!她真的好會生:三千金站那相當吸睛

賈靜雯慶47週歲生日曬全家福!她真的好會生:三千金站那相當吸睛
時間過得有多快呢? 大概就是電視裡反覆播放的<倚天屠龍記>中,趙敏還是少女的模樣,明豔靚麗帶著一丟丟嬌憨.而現實生活中,當年的"天下第一美人"趙敏,已經47週歲,蘇有朋 ...

傳奇故事—書呆子夢中遇道士,透露仙機,趙生:我的厄運來了
本文出自,金捧閶<守一齋筆記> 紹興人趙生,十六歲時隨祖父赴任山東聊城.他在寓所內跟從一位老師讀書. 一天夜裡,趙生正在床上安歇,忽見一個白髮老人走進屋來對他說: "你明天將要大 ...

娛樂圈中6位星二代,有人成父母的驕傲,有人是爛泥扶不上牆

娛樂圈中6位星二代,有人成父母的驕傲,有人是爛泥扶不上牆
娛樂圈中的明星們大都光鮮亮麗,歷來都是十分受人矚目的群體,吸引大眾的不光是他們的作品,也包括他們的私生活. 在各行各業中,都有子承父業的傳統,演藝界也不例外,很多人選擇了與父母相同的道路,走上演藝之路 ...

小李子肥溫到底賺了多少片酬?《泰坦尼克號》幕後26個冷知識

小李子肥溫到底賺了多少片酬?《泰坦尼克號》幕後26個冷知識
作者|林小野 這裡經常有朋友問我,你那麼喜歡寫電影周邊為何不寫<泰坦尼克號>? 我說有啊有啊,默默攢資料也是寫文的一部分啊.好在隨著時間的推移<泰坦尼克號>之前從未披露的幕後花 ...

她的未婚夫後來娶了鞏俐,法國女神阿佳妮為何孤獨終老?

她的未婚夫後來娶了鞏俐,法國女神阿佳妮為何孤獨終老?
作者|林小野 1993年5月24日第46屆戛納電影節上<霸王別姬>獲得金棕櫚大獎 1993年6月,當我在<環球銀幕>雜誌看到這張照片時,內心極度舒適. 一是自己國家的電影首次獲 ...

郭躍的故事:從昔日的假小子到如今的貌美如花,劇情總是太反轉

郭躍的故事:從昔日的假小子到如今的貌美如花,劇情總是太反轉
6歲開始打球,8歲就進了省隊: 11歲入選國家隊,成為史上最年輕的國手: 16歲獲得世界冠軍,成為國乒史上最年輕的世界冠軍: 曾無限接近"大魔王"標籤,26歲卻突然退役: 如今33 ...

放下北京和房子 是什麼讓80後美女定居都江堰?

放下北京和房子 是什麼讓80後美女定居都江堰?
14年前,四川姑娘雷沁宇背井離鄉前往北京奮鬥.在北京,讀書.工作.生活,努力在人潮湧動的北京買房定居,這座城市給予了她理想奮鬥的一切.但她最終,卻選擇放下北京的一切,來到都江堰. 年輕人往往嚮往一線大 ...

嵇春豔:女科學家心中的海洋夢

嵇春豔:女科學家心中的海洋夢
嵇春豔近影 "選擇這個方向是興趣使然."去年底,江蘇科技大學副校長嵇春豔獲得2020年度國家傑出青年科學基金資助專案,實現了該校歷史上零的突破.長期從事船舶與海洋工程結構物動力特性 ...

愛情電影篇:《天堂電影院》—沒有結局也許就是最好的結局

愛情電影篇:《天堂電影院》—沒有結局也許就是最好的結局
三十年後,多多回到了闊別已久的故鄉.暮氣沉沉.奄奄一息的天堂電影院,終於在眾人面前轟然倒塌.圍觀的人群裡,年輕的面龐上寫滿了興奮和期待,因為他們知道,這裡將有一個新的開始.而老人們的眼神裡,有不捨.有 ...

《美麗人生》:他用一個善意的謊言,給了孩子一個美麗的人生

《美麗人生》:他用一個善意的謊言,給了孩子一個美麗的人生
但丁說過:"愛能感動太陽與星辰". "愛擁有靈魂,如果你相信的話,奇蹟就會出現".這是導演男主角羅伯特·貝尼尼在第71屆奧斯卡頒獎典禮上的獲獎感言. 這是一部完 ...

本該前途無量,卻跌落萬丈深淵,湯唯真的太能忍了

本該前途無量,卻跌落萬丈深淵,湯唯真的太能忍了
文 |餘笙電影 編輯 | 嘈坊 湯唯是娛樂圈中一位氣質獨特的女星. 她身上總是帶著一種文藝範兒,在公眾面前經常都是一副淡然如水的樣子. 大多數人會認為湯唯的人生是幸運的,但其實她從小到大的經歷可謂是頗 ...

7位“真女神”來自同所頂尖學府,創多個第一,還拿下領域最高榮譽!

7位“真女神”來自同所頂尖學府,創多個第一,還拿下領域最高榮譽!
北京協和醫學院護理教育自開辦以來,在中國現代護理發展史上佔有舉足輕重的地位,所創立的教育理念.教育方式.課程內容,成為我國護理教育的榜樣.自1983年學校1931屆畢業生王琇瑛先生成為我國第一個南丁格 ...

三國中的四猛、四絕、十三傑介紹

三國中的四猛、四絕、十三傑介紹
四猛四絕十三傑是指評書中說的<隋唐演義>.<說唐>.<興唐傳>.<混唐後傳>等小說裡面的人物,每一個都是當時天下響噹噹的好漢,那麼,三國中是否也可以排出 ...

哈梅內伊再次提醒伊朗運動員,不要與以色列選手同臺競技

哈梅內伊再次提醒伊朗運動員,不要與以色列選手同臺競技
伊朗最高領袖阿里·哈梅內伊(Ali Khamenei)週六重申伊朗禁止與以色列人進行田徑比賽,並敦促當局支援因拒絕與以色列人比賽而被國際機構禁止參賽的伊朗或"其他國家的穆斯林運動員" ...

中國乒乓球運動員歷史之最

中國乒乓球運動員歷史之最
乒乓球是我國的國球,在我國有著雄厚的群眾基礎,也有著眾多優秀的乒乓球選手.這些條件鑄就了我們乒乓球王國的世界霸主地位.下面我們來總結下我國乒乓球選手的之最以及所獲得的榮譽. 1.年齡最小的單打世界冠軍 ...

律界女王的開掛人生:多國總統圍繞,迷倒喬治·克魯尼

律界女王的開掛人生:多國總統圍繞,迷倒喬治·克魯尼
大家國慶節過的怎樣?今天是週六,給大家分享一個非常厲害的女性人物,也是我非常欣賞的一位女性: 艾莫·克魯尼(Amal Clooney). 講她之前,要說說一位讓萬千少女都瘋狂迷戀的男人喬治·克魯尼.他 ...

史林|“中等人”如何崛起——江蘇省教育會的五四“前史”

史林|“中等人”如何崛起——江蘇省教育會的五四“前史”
徐佳貴 江蘇省教育會(1905-1927)之名,今人可能有些陌生.它曾經的領導人包括張謇.黃炎培等,而張.黃在蘇教育會的經歷,今天也少有人知.筆者曾實地探訪江蘇省教育會使用最久的舊址(之後曾為國民黨上 ...

創意喚醒國風舞蹈,讓當代觀眾與歷史對話
觀點提要 無論是<墨舞中秋帖> <鶴歸來兮>還是<東都行者> <少林·功夫>, "中秋奇妙遊"中的舞作以獨出機杼的創意將問道.修行. ...

車太鉉——韓國演員中的“逗比戰鬥機”

車太鉉——韓國演員中的“逗比戰鬥機”
車太鉉,也是車太賢,1976年3月25日出生於首爾,韓國男演員.歌手.主持人.中央大學言論大學院碩士 車太鉉是家中的次子,其父母是東洋廣播公司出身的配音演員,當時他生活在江南最好的學區.幼年時候他的家 ...

王麗雲和車曉:母女倆先後離異,至今都是單身貴族

王麗雲和車曉:母女倆先後離異,至今都是單身貴族
影視圈裡有這樣一對"母女花",媽媽王麗雲是熒屏上有名的"婆婆專業戶",女兒車曉是著名的新生代花旦,母女倆像兩顆璀璨的星星,閃耀在演藝圈. 1982年6月12日, ...