看,那群春晚發出15億紅包與好物的人!
“5、4、3、2、1”伴隨著央視春晚的經典倒數讀秒,除夕鐘聲如約而至,禮花滿天新年新氣象。對比此時滿眼的熱鬧祥和,亦莊京東總部大廈以及各地資料中心中,數千名技術專家正寸步不離緊盯資料大屏,等待最後一波紅包互動的流量衝擊。00:23,紅包雨夾雜在新年的歡聲笑語中洋洋灑灑,作戰室內一片歡呼沸騰,“成了!扛住啦!”為這場完美的“紅包盛宴”畫上圓滿句號。
270分鐘春晚全球直播, 7輪口播引領不間斷流量洪峰,這次春晚紅包互動絕對震撼:全球華人參與京東APP紅包累計互動量達691億次;秒級排程近300萬個容器、超1000萬核算力資源,以超高彈性成功登頂雲計算領域的“珠穆朗瑪峰”。京東智慧客服言犀累計諮詢服務量達5.5億次。
時間回溯、加速流轉,定格在1月5日,那是中央廣播電視總檯宣佈京東成為2022年春晚獨家互動合作伙伴的日子,京東為全國人民在虎年春節送出的一份份誠摯佳禮。但對於京東廣大的技術人員,1月5日卻是春晚紅包籌備戰正式拉開了序幕。
辭舊迎新的除夕不眠之夜,電視機前紅包飛揚,而電視之外的京東則是燈火通明,萬人協同好禮相送,想問那些徹夜不眠發紅包的人,有何感想?
掌控流量“密碼”!的@系統運維工程師陳榮
作為春晚互動籌備組內肩負各業務域名解析排程以及流量分配工作的陳榮,同很多同事一樣,是第一次參加春晚這麼大而重要的專案。為了能夠確保每位使用者都能順利接入京東APP且資料流通有序,大家的備戰過程都是壓力山大。 “以前確實沒有見識過這麼大的訪問請求量,數量級一上來,如果資源分配不合理,在流量洪峰時絕對是擁擠不堪的。”
俗話說扛住洪峰就要加裝置擴資源,但盲目的“頭疼醫頭、腳疼醫腳”顯然達不到最佳的效果。“我們需要根據每個業務模組的情況進行合理的流量排程,並根據動態變化來不斷調整……”
陳榮這樣類比:“大家可以想象高速公路,日常情況下車流路況都算良好,但在春運這樣級別的海量車況下,那一定會出現大塞車,而我們所做的就是預判路況和車況,指引車流透過不同的道路出城,避免擁堵。”所以為了更好做到資源分配以及敏捷響應,備戰團隊根據目前所掌握的資料,分析預判了大流量可能出現的環節,並同時做好對應的資源部署與調整;此外還率先預判了流量流轉的路徑,提前做好把控和引導;繪製了“流量地圖”來提前預判地域流量差異,確保“有限的資源用在刀刃上”,將“人算”做到最佳,才能更好扛住“天算”的考驗。
“以前的大年三十,我同家人一起看春晚;今年的大年三十,我要“站崗”為全國人民春晚紅包互動做保障。對於小家庭有些小遺憾,但特別有成就感,一個字:爽!”陳榮發自內心的說。“春晚這個專案讓我們有作戰的感覺,真的是成百上千的同事們一起竭盡全力做好這件事兒,那感覺很震撼。你會看到每一個人都在不斷查詢問題並解決問題,履行自己的責任,特別有凝聚力!”
產品經理鄭犇犇,在這次專案中擔負了一個十分重要的工作,用他的話說“創新性十足,絕對載入史冊”的那種,即籌備京東APP的鏈路備戰方案。簡單來說就是需要對整條鏈路進行詳盡的梳理:哪個環節遇到怎樣的異常該如何處理、哪些地方需要改動到什麼程度才能應對挑戰……總而言之就是形成一套完備並準確的“劇本”,在各種紛繁複雜的情況下讓核心鏈路的資源得到優先順序的保障。
要說“劇本”這個梗,可有意思!這算是京東這次整體備戰得出的創新殺手鐧,是一種異常演練的預案。鄭犇犇這樣介紹春晚專案的備戰“劇本”: “你玩過劇本殺麼?劇本殺的精髓就是不放過任何一種可能性,經過數輪蒐證、層層抽絲剝繭,最終還原真相。這次春晚我負責的“劇本”也是要充分考慮各種不確定因素、甚至各種極端情況,從而保障春晚專案的順利進行,因為搞不清楚什麼情況下,可能就有個突發情況影響了了使用者體驗。”
“準備劇本的過程挺難的!因為是從零開始,很多環節在之前的大規模場景中並不突出,但在這個專案裡卻變成了‘C位出道’,所以整體的方案前後做了四版,最忙的時候連續幾天工作到夜裡兩三點。雖然最終很多預先準備的預案操作都沒有用上,但確保萬無一失是必須的、很重要的!” 鄭犇犇自豪地表示:“往年的春晚我只是一個觀眾,而今年我成為了一個“參與者”,很有使命感。”
“家中父母年紀大了,提出今年除夕不回家過年的時候,他們還是那句話:沒關係,家裡都挺好,不用惦記。但我知道他們心裡十分牽掛我,以往每每在電視上看到關於京東的訊息,他們都會跟我談起。”胡柳談起今年不能回家過年的時候眼眶還是紅了。“但參加這麼有紀念意義的活動,想到背後的每一次點選、每一次流暢的使用者體驗,也有自己貢獻的一份力量,就覺得又激動,又緊張,又自豪。我想今年春晚爸媽坐在電視機前一定也能感受到我和他們同過年!”
胡柳是“巾幗不讓鬚眉”的女工程師,在這次春晚互動備戰團隊中格外亮眼,當然這也與她肩負的工作有關:負責運維相關的保障工作,可以等同於極限挑戰。“接到保障任務的第一天,第一輪全鏈路壓測就已經開始了。為了更好支援專案,我們重大的壓測就做了七輪之多。每一次,透過京東雲全鏈路監控系統去排查瓶頸點,與業務協同隨時發現馬上最佳化解決;尤其是系統呼叫資源的消耗情況,包括應用負載、資料訪問、網路消耗等,都要針對性做到極致最佳化,試圖挑戰整個系統能達到的極限。”胡柳總結道。
春晚專案與以往大促的流量模型完全不同,既要參考以往的備戰經驗,又要摒棄之前的思維定式,不到一個月的備戰時間內,業務需求也在不斷變化帶來的挑戰很大,可以說這次是從過去粗放拼湊資源滿足複雜需求,過渡到了提升系統架構的高效敏捷能力來應對挑戰,尤其是鍛造大規模場景極端併發下的能力。
“今年是虎年,也是我的本命年,這樣一個特殊的時間點能和團隊奮戰在春晚紅包互動保障的一線,對我來說是有非常意義的生日禮物。”華曉春團隊可以說是第一時間觸及到使用者體驗的模組——人證核驗和證件OCR(文字識別)。“春晚紅包互動過程中肯定會出現很多參與其中的新使用者,實名認證、繫結銀行卡等人證核驗以及證件OCR(文字識別)這兩塊工作就特別關鍵,安全又快捷是大家都希望的。”華曉春說。但在流量洪峰的波及下,這塊工作的備戰也是意外頻發。“有一次,擴容剛剛完成,突然又有新的流量加入進來;再次擴容肯定來不及,怎麼辦?抓緊時間溝通、協調、解決問題……最後經過幾輪深入的討論,可行的降級方案產生了。”
華曉春解釋春晚專案的難點:春晚紅包互動對京東雲來說是第一次,它的業務邏輯是全新的,和京東618、京東11.11不同,註定有新的系統要開發上線,並支援高併發量。這些新的系統在高併發情況下,資源使用情況並沒有歷史資料參考,資源很難預測,資源排程相當於摸著石頭過河。據悉,京東的備戰團隊早早就預想並制定了分級標準來完成資源的動態調整與更新,這樣一來就可確保在互動過程中高優先順序的應用系統儘量多得到資源使用機會,做到“更少資源辦大事兒”。
“其實技術人都想透過經歷大專案的挑戰來磨鍊自己,我也是!春晚這個機會真的是期待已久,如今到了,特別興奮。想著第一次獨立支援春晚紅包互動這麼個大專案,一定要打個漂亮仗!” 華曉春分享了他和兒子的關於春晚的小故事“我兒子剛上小學,我也會跟他溝通,我說今年爸爸不能在家陪你一塊兒過年,因為爸爸有一個非常難得的機會去為春晚專案做一個重點支援。他可能不一定明白我說的具體工作,但他知道這件事很重要。有一天我們壓測到很晚,早上才回到家,他那天正好起得比較早,他看到我,給了我一個擁抱。”
不管是細微之處見工夫的華曉春,還是與父母異地過春節的女工程師胡柳,都是京東技術人員的一個代表。京東第一次春晚亮相,有超3000名技術人員參與了該專案的技術攻關與保障工作,僅僅除夕當天就有將近2000人參與一線值守的技術保障,共計超萬名技術人員共同協同作戰。2022年春晚互動活動,不僅是近年來最大觀眾參與量的春晚專案,更是最具挑戰性的技術領域“珠穆朗瑪峰”。在史上最短的19天備戰時間裡,京東技術人員終於打贏了有史以來最具挑戰、也是最漂亮的一仗!
本文源自金融界資訊