sponsored links

作業幫劉晉:建設創新技術體系 充分發揮資料價值

近日,2021騰訊數字生態大會在武漢舉行,大會以“數實融合·綻放新機”為主題,邀請了300多位產業領袖和專家,展示前沿技術成果、創新服務場景、細分行業數字化轉型的實踐案例。

作為騰訊雲最佳生態合作伙伴,作業幫受邀出席,作業幫大資料平臺技術部負責人劉晉在“大資料”專場與參會者分享作業幫大資料平臺架構的演進之路,系統地介紹了作業幫大資料平臺概況、面臨的問題和解決方法,以及在彈性、資料湖、資料安全的實踐經歷和取得的效果。

劉晉表示,作業幫從2015年開始就使用存算分離的架構來構建離線的資料體系,該系統架構讓計算、儲存資源具備極好的擴充套件性,降低運維成本、最佳化TCO。為了提升線上叢集資源利用率、滿足突發的資源使用需求,團隊正在將計算層從自建CDH到EMR的遷移。

為了實現平滑的遷移,團隊採用了漸進式的方案,首先對任務進行標準化測試,對一些不適合高版本Hive環境的任務進行了改造,之後進行資料準確性的檢驗,透過對任務在不同叢集的結果對比來驗證資料,這個過程中對發現的開源版本缺陷進行修復,最後進行分佇列的遷移。

從遷移後的效果來看,基於EMR-EKS能快速的彈性擴容,今年上半年團隊基於彈性在短時間內擴容了上萬核,很好的滿足了計算需求。同時正在實施線上離線混布的方案,透過彈性網絡卡做了硬體層面的網路隔離,並且對Yarn的原生排程模式進行最佳化,縮短了節點回收的時間,避免慢節點影響任務執行效率。

在傳統基於Hadoop的數倉應用裡,存在著資料查詢慢,資料模型更新成本過高、以及資料冗餘等諸多的缺點,作業幫透過Iceberg的資料湖技術,結合實際的使用場景,在數倉和即席查詢領域進行了積極的探索和實踐。

首先透過Flink構建實時Pipeline,生成ODS層分鐘級的IceBerg數倉表,再透過事件驅動來週期性的做流轉批生成具有時間邊界的分割槽,對分割槽內資料透過Zorder、DataSkipping技術來做查詢加速,在流量域的使用者行為查詢中,使用Iceberg的查詢相比傳統模式有近10倍以上的提升。

劉晉表示,作業幫在批計算、實時、OLAP等領域有豐富的應用場景,未來作業幫技術團隊將持續建設創新技術體系,在資料治理、資料湖、自動排程、離線上混布、OLAP、實時計算等領域不斷的實踐和突破,充分發揮資料價值,賦能教育創新。(永文)

來源: 光明網

分類: 家居
時間: 2021-12-19

相關文章

大連理工《Scripta Mater》:新型輕質高強、低成本共晶高熵合金

大連理工《Scripta Mater》:新型輕質高強、低成本共晶高熵合金
開發在高溫下具有優異效能的輕質.低成本的結構材料一直是研究人員追求的方向.迄今為止,廣泛用於燃氣渦輪發動機和航空發動機的傳統鎳基高溫合金的最高使用溫度已達到其熔點的80%.因此,這些高溫合金已無法滿足 ...

影響擠塑板阻燃性的原因/樓面保溫層用擠塑板好還是輕質砂漿好

影響擠塑板阻燃性的原因/樓面保溫層用擠塑板好還是輕質砂漿好
XPS保溫板就是擠塑式聚苯乙烯隔熱保溫板,它是以聚苯乙烯樹脂為原料加上其他的原輔料與聚含物,透過特殊工藝加熱混合同時注入催化劑,然後連續擠塑壓出成型而製造的硬質泡沫塑膠板.它的學名為絕熱用擠塑聚苯乙烯 ...

Alc板施工----新型輕質板材

Alc板施工----新型輕質板材
每天都要靜下心來跟大家分享下自己的經歷,今天我要說的是Alc輕質板材施工.它逐漸成為一種趨勢代替蒸壓加氣塊. 原材料 Alc板材優點:1:工廠化模數化施工,減少了施工中裁剪,節省了材料的浪費: 2:板 ...

140㎡現代輕奢新房,頭次見這麼上檔次的裝修,尤其是電視背景牆

140㎡現代輕奢新房,頭次見這麼上檔次的裝修,尤其是電視背景牆
本案例這套面積140㎡的新房,三室兩廳兩衛的戶型,裝修選擇現代輕奢風格設計,利用不同材質之間的碰撞,烘托出格調感滿滿的氛圍.下面房姐兒將為大家帶來這套140平輕奢風新房裝修案例,頭一次見這麼上檔次的裝 ...

越來越多人都不貼瓷磚了!流行貼3D磚,成本才幾百元,省錢又高檔

越來越多人都不貼瓷磚了!流行貼3D磚,成本才幾百元,省錢又高檔
越來越多人都不貼瓷磚了!流行貼3D磚,成本才幾百元,省錢又高檔.說到裝修技術和裝修工藝,還有裝修材質,更新換代真是太快了,一不留神,我們以前裝修的房子已經OUT了.就拿瓷磚來說,從以前的水泥地板,到瓷 ...

套內76㎡一眼望去沒有雜物,看起來挺普通,舒適度和幸福感卻很高

套內76㎡一眼望去沒有雜物,看起來挺普通,舒適度和幸福感卻很高
家,舒適度永遠是第一位!這套套內面積只有76㎡的房子,是小夫妻的婚房,雖然是90後,但裝修並沒有一味地追求高顏值.憑藉著"輕裝飾"的理念,在眾多套婚房裡脫穎而出,清爽舒適度幸福感極 ...

7大變化!2021年建築陶瓷行業正進入新週期

7大變化!2021年建築陶瓷行業正進入新週期
作為剛需級別的建材品類,陶瓷行業正發生眾多變化,進入新週期的現象明顯. 資歷深厚的老帥們煥發青春,充滿激情地向前奔跑: 產能擴張在少數品牌的運籌下,步伐未有停頓: 資本力量受到空前重視,收購.IPO部 ...

要命!這20套客餐廳也太撩了吧,每套都吊打網紅家

要命!這20套客餐廳也太撩了吧,每套都吊打網紅家
客餐廳的重要性不用再多說了!全屋的風格奠定.客人的第一印象.屋主的生活態度表達,都能反映在客餐廳的設計裡. 但設計除了好看,還得不過時! 用經典的黑白灰棕來設計,保準不會錯!而且設計不重樣哦!下面有2 ...

要命!這20套客餐廳也太撩了吧!每套都能吊打網紅家

要命!這20套客餐廳也太撩了吧!每套都能吊打網紅家
客餐廳的重要性不用再多說了!全屋的風格奠定.客人的第一印象.屋主的生活態度表達,都能反映在客餐廳的設計裡. 但設計除了好看,還得不過時! 用經典的黑白灰棕來設計,保準不會錯!而且設計不重樣哦!下面有2 ...

農村蓋房用的紅磚,為何被國家禁用了?以後農民自建房用什麼磚?

農村蓋房用的紅磚,為何被國家禁用了?以後農民自建房用什麼磚?
不知道大家有沒有發現,一二十年前隨處可見的紅磚好像逐漸從我們的視野中消失了.農村自建房屋時也基本不使用紅磚砌牆,現存的一些紅磚房屋也很顯得很有年代感.這一切都是因為,紅磚被國家禁止生產使用了.這麼重要 ...

裝修材料,每日一篇——文化石

裝修材料,每日一篇——文化石
文化石是一種仿照自然石材的外形,以水泥.砂石.陶粒等無機材料,灌入模具製成的裝飾建材,成品幾乎可以假亂真,它是毛石.鵝卵石等天然石材的環保性代替,可用於建築外牆或室內區域性裝飾. 愛設計,愛生活,用走 ...

南京夫婦家中的精緻場面,堅持不鋪地板不鋪磚,完工反而時尚高階

南京夫婦家中的精緻場面,堅持不鋪地板不鋪磚,完工反而時尚高階
越來越覺得裝修就是一個不斷推陳出新的過程,比如以前流行堆砌造型,現在反而追求簡單,這是理念和觀念的變化:又如,以前的裝修循規蹈矩,講究的是丁是丁.卯是卯,而現在大膽創新,像"去客廳化&quo ...

114㎡現代質感輕奢風,新家裝修就這麼設計

114㎡現代質感輕奢風,新家裝修就這麼設計
■ 案例簡介 □ 建築面積 | 114.54㎡ □ 房屋戶型 | 3室2廳2衛1廚 □ 裝修風格 | 輕奢風 □ 座標 | 江西撫州東鄉 平面戶型圖 △△△ "1 輕奢風 輕奢,是用低調的方 ...

新力琥珀園220㎡複式樓現代輕奢,巖板+護牆板,這才叫真正的高階

新力琥珀園220㎡複式樓現代輕奢,巖板+護牆板,這才叫真正的高階
同樣的房子因居住人員的不同,而有著不一樣的氣息.如何打造出具有品質感的生活,這就意味著設計師必須要有更強的設計張力,像對休閒質感.高階元素.設計機能舒適度...等有著張弛有度的綜合空間把控力.透過與業 ...

精品案例丨藏匿於330㎡內的現代輕奢代表,你確定不來看看?

精品案例丨藏匿於330㎡內的現代輕奢代表,你確定不來看看?
案例資訊 -- Information 專案名稱:招商·1872 專案面積:330㎡ 專案戶型:五室兩廳一廚三衛 設計風格:現代輕奢 設計單位:武漢嵐庭裝飾 1. 平面規劃 / 2. 設計心聲 / 現 ...

若再裝修,我就選現代輕奢風,灰色瓷磚通鋪在室內,真是高階大氣

若再裝修,我就選現代輕奢風,灰色瓷磚通鋪在室內,真是高階大氣
相信準備裝修的朋友都會先在網上探索一番,找一找自己喜歡的風格做參考,但有一些案例純粹就是樣板房,放在實際生活中並不實用,只有簡單大方且注重實用性,這樣的家住著才舒服,如果實用的基礎上顏值又高,我想這樣 ...

夢天木作·格調樣板間丨99m²新現代輕奢,奢華有度,時尚精緻家

夢天木作·格調樣板間丨99m²新現代輕奢,奢華有度,時尚精緻家
<夢天木作·格調樣板間>欄目已火熱開啟,除了攜手設計大咖一起探尋全國夢天木作展廳外,小夢君也將為大家帶來一波夢天完整木作案例的分享,一起探尋格調生活樣本,探尋健康美好生活的101種可能. ...

120㎡甜美輕奢風,依戀,如畫般的精緻、唯美

120㎡甜美輕奢風,依戀,如畫般的精緻、唯美
今天分享的是一套輕奢風格的案例,淺色系列的基裝空間,與清爽的軟裝佈局,讓空間多了一份清新的舒適感.金屬元素的運用,又讓精緻的空間充滿了時尚的氣息.無論是客廳還是臥室,金屬的運用,都恰到好處,不僅體現出 ...

給兒子的未來新房,128㎡現代輕奢風,全屋灰色調照樣吸引人

給兒子的未來新房,128㎡現代輕奢風,全屋灰色調照樣吸引人
女業主是一位全職媽媽,這套房子是給兒子裝修的,雖然孩子還沒有到談婚論嫁的時候,女主希望先把新房設計起來,裝修好.整體是按照孩子的意願來的:現代帶有輕奢元素風格,牆面大面積灰色為基礎調性,地面用木色來調 ...

168㎡的現代美式輕奢平層,在色彩碰撞之間,理想悅見生活
本案的屋主是一對剛剛完婚不久的年輕夫妻,倆人十分恩愛,因為朋友的第一套房子就是由我們的設計師打造,所以男主人也很中意設計師的風格,第一次見面,男主人的氣質很溫文爾雅,是個不折不扣的暖男,一切裝修設計都 ...