大數(shù)據(jù)2018:云存儲(chǔ)已在客觀層面扮演數(shù)據(jù)湖角色
誠(chéng)然,AI所產(chǎn)生的影響已然無(wú)法忽視,其影響所覆蓋的范圍從地緣政治到市井瑣事,甚至還參與了一些舉世聞名的事件。此外,物聯(lián)網(wǎng)在當(dāng)今社會(huì)中日益增長(zhǎng)的影響也是不容忽視的,具體包括家庭、醫(yī)院提供醫(yī)療服務(wù)的方式、自動(dòng)駕駛汽車的驅(qū)動(dòng)、工廠的運(yùn)營(yíng)以及智能化城市管理等方面。爾后,GDPR將在2018年生效,這將迫使各組織著力解決將涉及隱私與國(guó)家主權(quán)影響的數(shù)據(jù)從現(xiàn)有數(shù)據(jù)庫(kù)轉(zhuǎn)移到數(shù)據(jù)湖與云存儲(chǔ)的過(guò)程中所要面臨的問(wèn)題。
透過(guò)表面看本質(zhì),我們發(fā)現(xiàn)構(gòu)造性轉(zhuǎn)變已經(jīng)開(kāi)始,具體包括企業(yè)在云領(lǐng)域的管理方式、流數(shù)據(jù)分析與數(shù)據(jù)湖戰(zhàn)略等。
目前,已有27.5%的大數(shù)據(jù)工作負(fù)載運(yùn)行在云端(來(lái)源:Ovum ICT Enterprise Insights)
關(guān)于未來(lái)展望,我們將著眼于數(shù)據(jù)的管理方式。回顧過(guò)去的一年,我們?cè)硎?ldquo;大數(shù)據(jù)——無(wú)論其來(lái)自于物聯(lián)網(wǎng)還是更為傳統(tǒng)的資源——將會(huì)逐步實(shí)現(xiàn)在云中完成存儲(chǔ)與處理。”去年,我們預(yù)計(jì)會(huì)有35—40%的新生大數(shù)據(jù)工作負(fù)載將在云端完成部署,而到2018年底,新的部署將超過(guò)50%。
我們的預(yù)測(cè)并非不切實(shí)際;Ovum針對(duì)所有大數(shù)據(jù)工作負(fù)載的最新全球調(diào)查研究顯示,在此之中的27.5%已經(jīng)完成了云端部署。另外,根據(jù)Ovum的報(bào)告,企業(yè)云應(yīng)用很難將大數(shù)據(jù)拒之門外,而在各式各樣的工作負(fù)載中,企業(yè)云應(yīng)用所占據(jù)的比例在26—30%之間。
由于慣性使然,大多數(shù)組織已經(jīng)不再堅(jiān)持立足云環(huán)境復(fù)制與其自有數(shù)據(jù)中心相關(guān)的種種功能特性。此外,大多數(shù)組織會(huì)選擇使用多個(gè)家云供應(yīng)商,這看似是為了取各家之所長(zhǎng)。然而,正如以往的類似教訓(xùn)一樣,這其實(shí)只是自上而下的企業(yè)標(biāo)準(zhǔn)政策與部門針對(duì)相關(guān)政策權(quán)衡之后所做出的妥協(xié)性決策產(chǎn)物。
因此,如同您所在的組織可能面臨SAP的使用成本一樣,不同部門可能同樣面臨著與人力資源相關(guān)的日常開(kāi)銷或CRM銷售壓力,抑或擁有多種尚未與企業(yè)遺留方案相融合的ERP系統(tǒng)。在云端,企業(yè)電子郵件系統(tǒng)可能通過(guò)Office 365實(shí)現(xiàn),而部門IT團(tuán)隊(duì)則將使用AWS進(jìn)行開(kāi)發(fā)與測(cè)試; 與此同時(shí),企業(yè)營(yíng)銷團(tuán)隊(duì)使用的則是Google Analytics。
隨著云從運(yùn)行獨(dú)立工作負(fù)載的目標(biāo)發(fā)展至企業(yè)關(guān)鍵型應(yīng)用,我們預(yù)計(jì)在2018年初期,大多數(shù)公司將開(kāi)始正式實(shí)施多云策略——正如在2017年,我們將云端部署視為大數(shù)據(jù)的隱患一般——多云也因此將成為2018年亟待解決的問(wèn)題。也正因?yàn)槿绱耍坠俏姆矫鏇Q定將運(yùn)行在亞馬遜RDS服務(wù)上的數(shù)據(jù)庫(kù)產(chǎn)品的使用價(jià)格進(jìn)行翻倍; 這也是為何Aurora OLTP數(shù)據(jù)庫(kù)目前能夠成為亞馬遜公司中增長(zhǎng)速度最快的服務(wù)(在此之前的冠軍為Redshift)。
這不僅僅是云供應(yīng)商對(duì)于此類擔(dān)憂的反應(yīng)性決策,多云的決策將影響有關(guān)平臺(tái)的選擇。當(dāng)您選擇在EC 2上運(yùn)行一套甲骨文的數(shù)據(jù)庫(kù)或Hadoop集群時(shí)——若Azure或Google Cloud調(diào)整其定價(jià)——這同時(shí)也成為了一項(xiàng)值得重新審視的抉擇。
當(dāng)您選擇在IBM云端運(yùn)行Aurora、Cosmos DB、谷歌BigQuery、甲骨文Autonomous數(shù)據(jù)庫(kù)18c或IBM分析系統(tǒng)時(shí),這不僅意味著需要選擇云,還需要選擇數(shù)據(jù)平臺(tái)。現(xiàn)在,您對(duì)于這一選擇是否能夠讓運(yùn)行一套特定云的數(shù)據(jù)平臺(tái)增值的關(guān)注度已經(jīng)遠(yuǎn)勝于是否選擇依賴一家特定的云供應(yīng)商——這就如同讓您再一次面對(duì)甲骨文公司或SQL Server平臺(tái)做出決策。
誠(chéng)然,這也是亞馬遜公司與微軟方面正在以幾乎免費(fèi)的方式提供數(shù)據(jù)庫(kù)遷移服務(wù)的原因——毫無(wú)疑問(wèn)的是這兩家公司想要占領(lǐng)您的企業(yè)數(shù)據(jù)庫(kù)。同樣,我們預(yù)計(jì)Google Cloud、甲骨文與IBM將會(huì)在2018年積極以虧損方式搶占數(shù)據(jù)庫(kù)遷移服務(wù)份額,并且越來(lái)越多的企業(yè)會(huì)在這一領(lǐng)域拼盡全力。
多云戰(zhàn)略也將在混合云的管理方面發(fā)揮至關(guān)重要的作用。正如鮮有組織——無(wú)論其規(guī)模如何——傾向于依賴單一云供應(yīng)商一般,也很少有組織(除了初創(chuàng)企業(yè)之外)會(huì)將全部的工作負(fù)載轉(zhuǎn)移至云端。在云計(jì)算平臺(tái)運(yùn)行分析時(shí),無(wú)論是在設(shè)計(jì)抑或是數(shù)據(jù)主權(quán)的問(wèn)題上,維護(hù)敏感客戶記錄的透明度將會(huì)成為影響云計(jì)算平臺(tái)選擇的主要因素。
數(shù)據(jù)管道改變了實(shí)時(shí)處理的重心
去年,我們預(yù)測(cè)“物聯(lián)網(wǎng)將成為把實(shí)時(shí)流數(shù)據(jù)推向前端的應(yīng)用實(shí)例。”今年,谷歌方面的Anadiotis預(yù)測(cè),不僅流數(shù)據(jù)將成為主流,“并且還將逐步實(shí)現(xiàn)即時(shí)分析。”
流數(shù)據(jù)分析并非是新鮮術(shù)語(yǔ);在此之前,我們已經(jīng)投入了大量精力以讓其重拾關(guān)注。在進(jìn)行數(shù)據(jù)存儲(chǔ)之前,流數(shù)據(jù)處理可被用于數(shù)據(jù)的解析與過(guò)濾以及模式或事件的檢測(cè)。物聯(lián)網(wǎng)數(shù)據(jù)的爆炸式增長(zhǎng)自然催生了難題——所有數(shù)據(jù)是否都需要存儲(chǔ)以及在哪里完成數(shù)據(jù)的處理。
隨著我們?nèi)找嬖鲩L(zhǎng)的技術(shù)需求,我們希望能夠在數(shù)據(jù)運(yùn)行的同時(shí)完成更多的工作負(fù)載。這不僅解釋了用于隊(duì)列處理的Kafka與分發(fā)數(shù)據(jù)技術(shù)的萌生,還表明了數(shù)據(jù)平臺(tái)供應(yīng)商——諸如SAP、 Hortonworks、MapR與 Teradata——正在采取相關(guān)行動(dòng)的原因。 Amazon Kinesis、 Azure Data Factory以及 Google Cloud Dataflow的崛起亦是這類即時(shí)需求的直接產(chǎn)物。數(shù)據(jù)管道能夠?qū)?shí)時(shí)處理從基礎(chǔ)過(guò)濾與轉(zhuǎn)換擴(kuò)展為協(xié)調(diào)進(jìn)程,從而支持高級(jí)預(yù)測(cè)分析與機(jī)器學(xué)習(xí)。因此,我們預(yù)計(jì)數(shù)據(jù)管道將在2018年成為流式分析的關(guān)鍵性支柱。此外,我們還將在這個(gè)領(lǐng)域聽(tīng)到來(lái)自于IBM與甲骨文等供應(yīng)商所帶來(lái)的更多消息。
云存儲(chǔ)已在客觀層面扮演數(shù)據(jù)湖角色
因?yàn)閿?shù)據(jù)湖是專為保存那些不適合于其它位置且易丟失的數(shù)據(jù)而設(shè)計(jì),所以當(dāng)您想到數(shù)據(jù)湖時(shí),您可能自然就會(huì)想到Hadoop。我們已經(jīng)將數(shù)據(jù)湖定義為受管理的存儲(chǔ)庫(kù),并致力于讓其成為數(shù)據(jù)的默認(rèn)提取點(diǎn)。但是,我們現(xiàn)在發(fā)現(xiàn)數(shù)據(jù)湖的安裝啟用超過(guò)了Hadoop。或者正如Mike Olson在2014年所預(yù)言的一般——Hadoop終將消失。
數(shù)據(jù)湖以聯(lián)動(dòng)查詢工具作為起點(diǎn),現(xiàn)已成為每個(gè)分析數(shù)據(jù)庫(kù)的配套項(xiàng)目。我們已經(jīng)見(jiàn)證了JSON數(shù)據(jù)庫(kù)通過(guò)Spark進(jìn)行擴(kuò)展,從而實(shí)現(xiàn)分析查詢。此外,我們還目睹了各Hadoop供應(yīng)商(例如Cloudera 與 Hortonworks)將其數(shù)據(jù)管理服務(wù)與HDFS分離。所以,現(xiàn)在數(shù)據(jù)湖即是數(shù)據(jù)存儲(chǔ)的位置所在。
毫無(wú)疑問(wèn),云供應(yīng)商享有最后的發(fā)言權(quán):在云端,云存儲(chǔ)顯然已成為數(shù)據(jù)的默認(rèn)攝取點(diǎn)。所以,云供應(yīng)商正在致力于讓其云對(duì)象存儲(chǔ)配備直接查詢功能。亞馬遜方面現(xiàn)在已可通過(guò)S3直接訪問(wèn)配有Athena 的SQL 實(shí)際查詢,并可作為Redshift Spectrum數(shù)據(jù)倉(cāng)庫(kù)的擴(kuò)展。Google Cloud早已將其云存儲(chǔ)作為BigQuery的默認(rèn)來(lái)源,而Snowflake——第三方云數(shù)據(jù)倉(cāng)庫(kù)——也是如此。
此外,頗為諷刺的是,云存儲(chǔ)最初其實(shí)專為存儲(chǔ)需求而設(shè)計(jì)。然而,在云對(duì)象存儲(chǔ)占據(jù)了大部分?jǐn)?shù)據(jù)的世界里,催生了企業(yè)要優(yōu)化訪問(wèn)需求。所以在2018年,我們預(yù)計(jì)幾乎所有的數(shù)據(jù)倉(cāng)庫(kù)與分析數(shù)據(jù)庫(kù)都將對(duì)接當(dāng)下流行的云對(duì)象存儲(chǔ)方案,具體包括S3、Azure BLOB Storage與Google Cloud Storage等支持目標(biāo)。
責(zé)任編輯:售電衡衡
-
碳中和戰(zhàn)略|趙英民副部長(zhǎng)致辭全文
2020-10-19碳中和,碳排放,趙英民 -
兩部門:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
國(guó)家發(fā)改委、國(guó)家能源局:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè)
-
碳中和戰(zhàn)略|趙英民副部長(zhǎng)致辭全文
2020-10-19碳中和,碳排放,趙英民 -
深度報(bào)告 | 基于分類監(jiān)管與當(dāng)量協(xié)同的碳市場(chǎng)框架設(shè)計(jì)方案
2020-07-21碳市場(chǎng),碳排放,碳交易 -
碳市場(chǎng)讓重慶能源轉(zhuǎn)型與經(jīng)濟(jì)發(fā)展并進(jìn)
2020-07-21碳市場(chǎng),碳排放,重慶
-
兩部門:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
國(guó)家發(fā)改委、國(guó)家能源局:推廣不停電作業(yè)技術(shù) 減少停電時(shí)間和停電次數(shù)
2020-09-28獲得電力,供電可靠性,供電企業(yè) -
2020年二季度福建省統(tǒng)調(diào)燃煤電廠節(jié)能減排信息披露
2020-07-21火電環(huán)保,燃煤電廠,超低排放
-
四川“專線供電”身陷違法困境
2019-12-16專線供電 -
我國(guó)能源替代規(guī)范法律問(wèn)題研究(上)
2019-10-31能源替代規(guī)范法律 -
區(qū)域鏈結(jié)構(gòu)對(duì)于數(shù)據(jù)中心有什么影響?這個(gè)影響是好是壞呢!