來源:計算機世界
與傳統的內部資料分析方式相比,將資料分析遷移到雲端需要新的方法、技能和架構。
像許多其他IT功能一樣,資料分析正在向雲端遷移。與其他基於雲的工作一樣,這既帶來了機遇,也帶來了挑戰。
Gartner列舉的2021年十大資料和分析技術趨勢之一是使用開放的、容器化的分析架構,使分析功能更具可組合性。該研究公司認為,這使得企業能夠快速建立靈活、智慧的應用程式,幫助資料分析師將深度分析與行動聯絡起來。
Gartner指出:"隨著資料重心向雲端轉移,可組合資料和分析將成為一種更敏捷的方式,可構建由雲、低程式碼和無程式碼解決方案支援的分析應用程式。"
雲技術能夠將企業資料分析提升到一個新的水平。
創新服務機構Loveurope and Partners(LEAP)的系統和技術總監Aidan Taub說:"雲能夠實現高效能計算負載所需的可伸縮性。"
Taub說:"隨著世界所有一切不斷的數字化,企業需要能夠利用指數級規模的檔案資料來進行開發。當你擁有大量非結構化資料時,比如在LEAP處理的影片、影象和音訊,你永遠不知道下一項工作可能有多繁重。傳統的分析方式無法像雲那樣進行擴充套件。"
然而,與傳統的內部批次分析方法相比,雲中的資料分析需要不同的方法、技能、架構和經濟性。伴隨著所有這些變化,必然要克服很多障礙。
以下介紹企業可能面臨的一些挑戰,以及當他們遷移到雲中進行資料分析時解決這些挑戰的方法。
害怕失去控制,以及對未知的恐懼
資料分析對企業來說是高度戰略性的,對於習慣完全控制此類資源的技術領導來說,將分析過程轉移到雲端的想法可能會讓他們望而生畏。
Anthony Abbattista,德勤諮詢公司高階分析支援主管
德勤諮詢公司高階分析支援主管Anthony Abbattista曾與眾多IT高管合作,致力於轉向基於雲的資料分析,他說:"我們看到客戶面臨的關鍵挑戰是企業慣性/對失去控制的恐懼。"
Abbattista說:"IT和CIO的傳統角色一直是保護資料資產併成為守護者。"他說,對一些人來說,雲技術給現狀帶來了挑戰,因為這可以更快地推向市場;例如,減少了產品選擇和評估,按需供應,不需要大量的增量資本支出,等等。
Abbattista說:"首席資料官和CIO應共同努力,審查並熟悉雲平臺,這樣他們至少能夠與競爭對手一樣快的獲得商業價值和競爭優勢。這可能需要採用市場上可接受的、經過驗證的新興模型,而不是從頭開始設計/構建分析環境。"
Brandon Jones,公共機構員工全球保障(WAEPA)公司CIO
保險提供商公共機構員工全球保障公司(WAEPA)CIO Brandon Jones介紹說,由於現有分析流程缺乏靈活性,很多企業在研究新分析功能方面進展緩慢。他說:"這導致嘗試新功能和推動創新的動機和積極性減少了。"
為了克服這個問題,WAEPA的IT部門使用了一個支援雲的沙箱環境來建立試錯思維過程,使用關鍵相關方的關鍵效能指標,並建立了原型優先的分析環境。
做出轉變
除了克服自己認為的失控之外,IT領導還需要處理實際向雲的遷移,確保服務不會中斷。
Aidan Taub,Loveurope and Partners(LEAP)公司系統和技術總監
Taub說:"這實在令人頭疼。對於很多IT領導來說,最難的就是上雲之路。但如果他們選擇了正確的解決方案,就不是那麼難了。"
Taub說,將資料分析遷移到雲端時,很多情況下IT領導都是從"直接遷移"的方法開始,將現有的操作移植到雲端。他補充道:"這通常意味著重新設計應用程式和系統,針對雲來重新進行架構。"
2019年,LEAP對其老舊資料基礎設施進行了全面改革,LEAP使用Qumulo的分析平臺將大量非結構化檔案資料遷移到雲中。過去,LEAP的檔案資料分散在一系列不同的老舊儲存系統中,對於資料管理員來說,在工作流的不同位置管理和定位資料是極其繁重的工作。
Taub說:"幸運的是,Qumulo幫助我們遷移了所有的資料,不需要為雲重構應用程式。我建議找到一種工具,以簡化在多個環境之間複製和提取資料。"
透過此次遷移,該公司優化了資料分析,並將效能提高了240倍。利用分析,公司可以看到連線了多少個客戶端,誰使用了最多的頻寬,以及系統在哪裡快速增長。
Taub說:"我們創造性工作流程的成功在很大程度上取決於我們使用雲端資料分析的能力。我們有一個由數百名藝術家、設計師和動態圖形編輯人員組成的全球網路,他們都遠端工作,所以我們需要利用雲來高效、安全地合作創意專案。如果沒有基於雲的資料分析,我們的製片過程將陷入停頓。"
掌握合適的技能
成功的IT工作似乎總是歸功於掌握了必要的技能。將分析遷移到雲端也不例外。
德勤諮詢公司發現,對技能的需求開始發生變化。Abbattista說:"在傳統分析/BI(商業智慧)中,雲分析環境需要更多的'全棧'思維,而不是由專家來支援技術棧的每一部分。"
他補充道:"為了應對這一挑戰,這些新時代環境下的技術團隊需要了解雲平臺上的產品,採用標準模式,然後隨著新技術、工具和產品的出現而不斷髮展。"
Josh Jewett最近離職了,不再擔任零售商Dollar Tree的CIO。他指出,那些選擇在雲環境中構建自己的分析平臺或者依賴供應商系統的企業,應具備特定的內部技術專業知識。
Jewett說,這包括從資料湖中建立、維護和獲取分析的技能,還能夠很好地利用雲原生或者第三方人工智慧和機器學習功能,從環境中獲得更多的深度分析結果。
Jewett說:"可以透過有經驗的合作伙伴和顧問來解決這些問題。理想的安排是從外部專家那裡獲得經驗,這樣一旦與他們簽訂合同後,公司就擁有了知識和專業技能,根據需要繼續發展基於雲的分析。"
在Dollar Tree公司任職期間,Jewett幫助公司實現了很多系統的現代化,包括資料分析。他說:"和其他許多零售商一樣,我們的公司採用了混合雲策略。"公司部署了SaaS平臺,為關鍵業務功能提供特定的分析功能。
Jewett說:"這方面的例子包括庫存效率、定價最佳化、損失預防緩解、人才獲取和績效管理等工具。"該公司還在雲環境中自己開發了一些分析應用程式,發揮了雲的靈活性、可擴充套件性和迅速面市等優勢。
保護資料
無論雲服務提供商多麼強調其基礎設施的安全性,很多客戶還是會始終關注其資料在雲中的實際安全性。
在資料分析方面尤為如此,因為從資料分析中獲得深度分析結果意味著競爭優勢,人們擔心洩露客戶資訊等高度敏感的資料。
Taub說:"當把公司的寶貴資料從私有資料中心轉移出去的時候,安全是最重要的。LEAP利用了包括自由職業人才在內的全球員工網路,這意味著我們雲中的資料必須是安全的--無論使用者是從內部還是從外部訪問這些資料。"
Amy O'Connor,Precisely公司首席資料和資訊官
最大的安全問題之一是怎樣控制對雲應用程式和資料的訪問。
軟體提供商Precisely的首席資料和資訊官Amy O'Connor介紹說:"人們能夠方便的使用雲應用程式實際上帶來了挑戰,其中許多挑戰的根源在於人們可能會無意中造成安全、隱私和經濟問題。"
O'Connor說:"在雲賬戶之間切換,安全地儲存和交換金鑰成了安全問題。應針對資料的使用度進行強有力的治理。與本地部署相比,這在雲端更為緊迫,因為人們很容易以未經授權的方式複製並使用資料。"
Precisely有一個混合多雲模型,利用多個雲供應商滿足其計算和儲存需求。O'Connor說:"基於雲的資料湖是我們儲存大量資料的地方。如果資料來源於雲端,我們就從那裡開始處理資料。如果我們的分析需求本質上是突發性的,那我們就利用雲。如果我們需要快速開始分析處理,我們就從雲端開始。當我們需要處理非結構化資料時,當我們使用包括機器學習在內的高階分析處理時,我們會利用基於雲的資料湖。"
保護資料不要掉入雲花費的陷阱中
儘管使用雲服務可以幫助企業避免內部部署儲存系統等成本,但費用很快就會失控或者超出預期。
Taub說:"預算一直是個大問題。完全通用的資料架構可能會成為IT開支陷阱。在決定將資料分析遷移到雲端時,企業通常會感到壓力,不得不支付高昂的前期成本,被不符合當前需求的長期合同牽著鼻子走。"
Taub說:"在評估雲平臺時,不要害怕貨比三家,要尋找適合您當前分析需求的解決方案,而且能夠根據未來的需求靈活擴充套件。"
O'Connor說,雖然從雲中起步很容易,但也很容易將錯誤型別的工作遷移到雲端,導致不再需要雲應用程式和資源後,這些資源仍在執行。
O'Connor說,控制雲成本最有效的兩種方法是控制雲賬戶的建立方式,以及完全透明地瞭解誰在使用雲資源。
O'Connor說:"為了解決第一個問題,我們將每家提供商的所有云帳戶遷移到一個'主帳戶 '中,我們集中控制誰可以建立新的雲帳戶。需要新的雲資源的個人和團體都要經過正式的申請過程。申請必須包括業務理由、部門預算資訊和業務所有者。"
至於透明性,只要申請被批准了,中央部門就會在主帳戶下建立新的雲帳戶。O'Connor說:"這種治理政策使我們能夠透明地瞭解雲提供商為我們開具發票的成本。每一個帳戶都是用申請中提供的資訊建立的,然後我們可以使用雲提供商的入口網站或者控制檯,來監控與每一項初始申請相匹配的支出。"
Precisely公司將這些支出資訊用於內部退款模型,把雲成本加到申請者的預算中。O'Connor說:"IT使用這些方法推動雲成本的問責制,並確保我們出於正確的業務理由而適當地支出。
本文來自【計算機世界】,僅代表作者觀點。全國黨媒資訊公共平臺提供資訊釋出及傳播服務。
ID:jrtt