一學(xué)就會,一做就廢!為什么數(shù)據(jù)分析上云這么難?
發(fā)布時間:2021-07-29作者:小編閱讀:0
與傳統(tǒng)的內(nèi)部數(shù)據(jù)分析方式相比,將數(shù)據(jù)分析遷移到云端需要新的方法、技能和架構(gòu)。
像許多其他IT功能一樣,數(shù)據(jù)分析正在向云端遷移。與其他基于云的工作一樣,這既帶來了機(jī)遇,也帶來了挑戰(zhàn)。
Gartner列舉的2021年十大數(shù)據(jù)和分析技術(shù)趨勢之一是使用開放的、容器化的分析架構(gòu),使分析功能更具可組合性。該研究公司認(rèn)為,這使得企業(yè)能夠快速創(chuàng)建靈活、智能的應(yīng)用程序,幫助數(shù)據(jù)分析師將深度分析與行動聯(lián)系起來。
Gartner指出:"隨著數(shù)據(jù)重心向云端轉(zhuǎn)移,可組合數(shù)據(jù)和分析將成為一種更敏捷的方式,可構(gòu)建由云、低代碼和無代碼解決方案支持的分析應(yīng)用程序。"
云技術(shù)能夠?qū)⑵髽I(yè)數(shù)據(jù)分析提升到一個新的水平。
創(chuàng)新服務(wù)機(jī)構(gòu)Loveurope and Partners(LEAP)的系統(tǒng)和技術(shù)總監(jiān)Aidan Taub說:"云能夠?qū)崿F(xiàn)高性能計算負(fù)載所需的可伸縮性。"
Taub說:"隨著世界所有一切不斷的數(shù)字化,企業(yè)需要能夠利用指數(shù)級規(guī)模的文件數(shù)據(jù)來進(jìn)行開發(fā)。當(dāng)你擁有大量非結(jié)構(gòu)化數(shù)據(jù)時,比如在LEAP處理的視頻、圖像和音頻,你永遠(yuǎn)不知道下一項(xiàng)工作可能有多繁重。傳統(tǒng)的分析方式無法像云那樣進(jìn)行擴(kuò)展。"
然而,與傳統(tǒng)的內(nèi)部批量分析方法相比,云中的數(shù)據(jù)分析需要不同的方法、技能、架構(gòu)和經(jīng)濟(jì)性。伴隨著所有這些變化,必然要克服很多障礙。
以下介紹企業(yè)可能面臨的一些挑戰(zhàn),以及當(dāng)他們遷移到云中進(jìn)行數(shù)據(jù)分析時解決這些挑戰(zhàn)的方法。
害怕失去控制,以及對未知的恐懼
數(shù)據(jù)分析對企業(yè)來說是高度戰(zhàn)略性的,對于習(xí)慣完全控制此類資源的技術(shù)領(lǐng)導(dǎo)來說,將分析過程轉(zhuǎn)移到云端的想法可能會讓他們望而生畏。
Anthony Abbattista,德勤咨詢公司高級分析支持主管
德勤咨詢公司高級分析支持主管Anthony Abbattista曾與眾多IT高管合作,致力于轉(zhuǎn)向基于云的數(shù)據(jù)分析,他說:"我們看到客戶面臨的關(guān)鍵挑戰(zhàn)是企業(yè)慣性/對失去控制的恐懼。"
Abbattista說:"IT和CIO的傳統(tǒng)角色一直是保護(hù)數(shù)據(jù)資產(chǎn)并成為守護(hù)者。"他說,對一些人來說,云技術(shù)給現(xiàn)狀帶來了挑戰(zhàn),因?yàn)檫@可以更快地推向市場;例如,減少了產(chǎn)品選擇和評估,按需供應(yīng),不需要大量的增量資本支出,等等。
Abbattista說:"首席數(shù)據(jù)官和CIO應(yīng)共同努力,審查并熟悉云平臺,這樣他們至少能夠與競爭對手一樣快的獲得商業(yè)價值和競爭優(yōu)勢。這可能需要采用市場上可接受的、經(jīng)過驗(yàn)證的新興模型,而不是從頭開始設(shè)計/構(gòu)建分析環(huán)境。"
Brandon Jones,公共機(jī)構(gòu)員工全球保障(WAEPA)公司CIO
保險提供商公共機(jī)構(gòu)員工全球保障公司(WAEPA)CIO Brandon Jones介紹說,由于現(xiàn)有分析流程缺乏靈活性,很多企業(yè)在研究新分析功能方面進(jìn)展緩慢。他說:"這導(dǎo)致嘗試新功能和推動創(chuàng)新的動機(jī)和積極性減少了。"
為了克服這個問題,WAEPA的IT部門使用了一個支持云的沙箱環(huán)境來建立試錯思維過程,使用關(guān)鍵相關(guān)方的關(guān)鍵性能指標(biāo),并創(chuàng)建了原型優(yōu)先的分析環(huán)境。
做出轉(zhuǎn)變
除了克服自己認(rèn)為的失控之外,IT領(lǐng)導(dǎo)還需要處理實(shí)際向云的遷移,確保服務(wù)不會中斷。
Aidan Taub,Loveurope and Partners(LEAP)公司系統(tǒng)和技術(shù)總監(jiān)
Taub說:"這實(shí)在令人頭疼。對于很多IT領(lǐng)導(dǎo)來說,最難的就是上云之路。但如果他們選擇了正確的解決方案,就不是那么難了。"
Taub說,將數(shù)據(jù)分析遷移到云端時,很多情況下IT領(lǐng)導(dǎo)都是從"直接遷移"的方法開始,將現(xiàn)有的操作移植到云端。他補(bǔ)充道:"這通常意味著重新設(shè)計應(yīng)用程序和系統(tǒng),針對云來重新進(jìn)行架構(gòu)。"
2019年,LEAP對其老舊數(shù)據(jù)基礎(chǔ)設(shè)施進(jìn)行了全面改革,LEAP使用Qumulo的分析平臺將大量非結(jié)構(gòu)化文件數(shù)據(jù)遷移到云中。過去,LEAP的文件數(shù)據(jù)分散在一系列不同的老舊存儲系統(tǒng)中,對于數(shù)據(jù)管理員來說,在工作流的不同位置管理和定位數(shù)據(jù)是極其繁重的工作。
Taub說:"幸運(yùn)的是,Qumulo幫助我們遷移了所有的數(shù)據(jù),不需要為云重構(gòu)應(yīng)用程序。我建議找到一種工具,以簡化在多個環(huán)境之間復(fù)制和提取數(shù)據(jù)。"
通過此次遷移,該公司優(yōu)化了數(shù)據(jù)分析,并將性能提高了240倍。利用分析,公司可以看到連接了多少個客戶端,誰使用了最多的帶寬,以及系統(tǒng)在哪里快速增長。
Taub說:"我們創(chuàng)造性工作流程的成功在很大程度上取決于我們使用云端數(shù)據(jù)分析的能力。我們有一個由數(shù)百名藝術(shù)家、設(shè)計師和動態(tài)圖形編輯人員組成的全球網(wǎng)絡(luò),他們都遠(yuǎn)程工作,所以我們需要利用云來高效、安全地合作創(chuàng)意項(xiàng)目。如果沒有基于云的數(shù)據(jù)分析,我們的制片過程將陷入停頓。"
掌握合適的技能
成功的IT工作似乎總是歸功于掌握了必要的技能。將分析遷移到云端也不例外。
德勤咨詢公司發(fā)現(xiàn),對技能的需求開始發(fā)生變化。Abbattista說:"在傳統(tǒng)分析/BI(商業(yè)智能)中,云分析環(huán)境需要更多的'全棧'思維,而不是由專家來支持技術(shù)棧的每一部分。"
他補(bǔ)充道:"為了應(yīng)對這一挑戰(zhàn),這些新時代環(huán)境下的技術(shù)團(tuán)隊(duì)需要了解云平臺上的產(chǎn)品,采用標(biāo)準(zhǔn)模式,然后隨著新技術(shù)、工具和產(chǎn)品的出現(xiàn)而不斷發(fā)展。"
Josh Jewett,Dollar Tree公司前CIO
Josh Jewett最近離職了,不再擔(dān)任零售商Dollar Tree的CIO。他指出,那些選擇在云環(huán)境中構(gòu)建自己的分析平臺或者依賴供應(yīng)商系統(tǒng)的企業(yè),應(yīng)具備特定的內(nèi)部技術(shù)專業(yè)知識。
Jewett說,這包括從數(shù)據(jù)湖中創(chuàng)建、維護(hù)和獲取分析的技能,還能夠很好地利用云原生或者第三方人工智能和機(jī)器學(xué)習(xí)功能,從環(huán)境中獲得更多的深度分析結(jié)果。
Jewett說:"可以通過有經(jīng)驗(yàn)的合作伙伴和顧問來解決這些問題。理想的安排是從外部專家那里獲得經(jīng)驗(yàn),這樣一旦與他們簽訂合同后,公司就擁有了知識和專業(yè)技能,根據(jù)需要繼續(xù)發(fā)展基于云的分析。"
在Dollar Tree公司任職期間,Jewett幫助公司實(shí)現(xiàn)了很多系統(tǒng)的現(xiàn)代化,包括數(shù)據(jù)分析。他說:"和其他許多零售商一樣,我們的公司采用了混合云策略。"公司部署了SaaS平臺,為關(guān)鍵業(yè)務(wù)功能提供特定的分析功能。
Jewett說:"這方面的例子包括庫存效率、定價優(yōu)化、損失預(yù)防緩解、人才獲取和績效管理等工具。"該公司還在云環(huán)境中自己開發(fā)了一些分析應(yīng)用程序,發(fā)揮了云的靈活性、可擴(kuò)展性和迅速面市等優(yōu)勢。
保護(hù)數(shù)據(jù)
無論云服務(wù)提供商多么強(qiáng)調(diào)其基礎(chǔ)設(shè)施的安全性,很多客戶還是會始終關(guān)注其數(shù)據(jù)在云中的實(shí)際安全性。
在數(shù)據(jù)分析方面尤為如此,因?yàn)閺臄?shù)據(jù)分析中獲得深度分析結(jié)果意味著競爭優(yōu)勢,人們擔(dān)心泄露客戶信息等高度敏感的數(shù)據(jù)。
Taub說:"當(dāng)把公司的寶貴數(shù)據(jù)從私有數(shù)據(jù)中心轉(zhuǎn)移出去的時候,安全是最重要的。LEAP利用了包括自由職業(yè)人才在內(nèi)的全球員工網(wǎng)絡(luò),這意味著我們云中的數(shù)據(jù)必須是安全的--無論用戶是從內(nèi)部還是從外部訪問這些數(shù)據(jù)。"
Amy O'Connor,Precisely公司首席數(shù)據(jù)和信息官
最大的安全問題之一是怎樣控制對云應(yīng)用程序和數(shù)據(jù)的訪問。
軟件提供商Precisely的首席數(shù)據(jù)和信息官Amy O'Connor介紹說:"人們能夠方便的使用云應(yīng)用程序?qū)嶋H上帶來了挑戰(zhàn),其中許多挑戰(zhàn)的根源在于人們可能會無意中造成安全、隱私和經(jīng)濟(jì)問題。"
O'Connor說:"在云賬戶之間切換,安全地存儲和交換密鑰成了安全問題。應(yīng)針對數(shù)據(jù)的使用度進(jìn)行強(qiáng)有力的治理。與本地部署相比,這在云端更為緊迫,因?yàn)槿藗兒苋菀滓晕唇?jīng)授權(quán)的方式復(fù)制并使用數(shù)據(jù)。"
Precisely有一個混合多云模型,利用多個云供應(yīng)商滿足其計算和存儲需求。O'Connor說:"基于云的數(shù)據(jù)湖是我們存儲大量數(shù)據(jù)的地方。如果數(shù)據(jù)來源于云端,我們就從那里開始處理數(shù)據(jù)。如果我們的分析需求本質(zhì)上是突發(fā)性的,那我們就利用云。如果我們需要快速開始分析處理,我們就從云端開始。當(dāng)我們需要處理非結(jié)構(gòu)化數(shù)據(jù)時,當(dāng)我們使用包括機(jī)器學(xué)習(xí)在內(nèi)的高級分析處理時,我們會利用基于云的數(shù)據(jù)湖。"
保護(hù)數(shù)據(jù)不要掉入云花費(fèi)的陷阱中
盡管使用云服務(wù)可以幫助企業(yè)避免內(nèi)部部署存儲系統(tǒng)等成本,但費(fèi)用很快就會失控或者超出預(yù)期。
Taub說:"預(yù)算一直是個大問題。完全通用的數(shù)據(jù)架構(gòu)可能會成為IT開支陷阱。在決定將數(shù)據(jù)分析遷移到云端時,企業(yè)通常會感到壓力,不得不支付高昂的前期成本,被不符合當(dāng)前需求的長期合同牽著鼻子走。"
Taub說:"在評估云平臺時,不要害怕貨比三家,要尋找適合您當(dāng)前分析需求的解決方案,而且能夠根據(jù)未來的需求靈活擴(kuò)展。"
O'Connor說,雖然從云中起步很容易,但也很容易將錯誤類型的工作遷移到云端,導(dǎo)致不再需要云應(yīng)用程序和資源后,這些資源仍在運(yùn)行。
O'Connor說,控制云成本最有效的兩種方法是控制云賬戶的創(chuàng)建方式,以及完全透明地了解誰在使用云資源。
O'Connor說:"為了解決第一個問題,我們將每家提供商的所有云帳戶遷移到一個'主帳戶 '中,我們集中控制誰可以創(chuàng)建新的云帳戶。需要新的云資源的個人和團(tuán)體都要經(jīng)過正式的申請過程。申請必須包括業(yè)務(wù)理由、部門預(yù)算信息和業(yè)務(wù)所有者。"
至于透明性,只要申請被批準(zhǔn)了,中央部門就會在主帳戶下創(chuàng)建新的云帳戶。O'Connor說:"這種治理政策使我們能夠透明地了解云提供商為我們開具發(fā)票的成本。每一個帳戶都是用申請中提供的信息創(chuàng)建的,然后我們可以使用云提供商的門戶網(wǎng)站或者控制臺,來監(jiān)控與每一項(xiàng)初始申請相匹配的支出。"
Precisely公司將這些支出信息用于內(nèi)部退款模型,把云成本加到申請者的預(yù)算中。O'Connor說:"IT使用這些方法推動云成本的問責(zé)制,并確保我們出于正確的業(yè)務(wù)理由而適當(dāng)?shù)刂С觥?quot;
以上就是一學(xué)就會,一做就廢!為什么數(shù)據(jù)分析上云這么難?的介紹,億聯(lián)云提供全球網(wǎng)絡(luò)優(yōu)化服務(wù)、MPLS服務(wù)、全球服務(wù)器托管(IDC)&服務(wù)器租賃服務(wù)、企業(yè)私有云&混合云搭建方案、云直連專線服務(wù)、SD-WAN服務(wù)、企業(yè)云視頻會議服務(wù)等相關(guān)應(yīng)用場景。
免責(zé)聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點(diǎn)不代表本網(wǎng)站立場,請聯(lián)系站長郵箱:shawn.lee@eliancloud.com進(jìn)行舉報,并提供相關(guān)證據(jù),一經(jīng)查實(shí),將立刻刪除涉嫌侵權(quán)內(nèi)容。
標(biāo)題:一學(xué)就會,一做就廢!為什么數(shù)據(jù)分析上云這么難?
TAG標(biāo)簽:企業(yè)上云
地址:http://www.dangdangload.com/article/20210729162225.html