掘金大數(shù)據(jù):數(shù)據(jù)虛擬化勢在必行
深吸一口氣。你的第一個步驟應(yīng)該是規(guī)劃一個全面的云數(shù)據(jù)虛擬化基礎(chǔ)架構(gòu)。虛擬化的云分析是新時代的大數(shù)據(jù)范例。作為一種整合的方式,它可以確保統(tǒng)一接入、建模、部署、優(yōu)化并大數(shù)據(jù)作為一個異構(gòu)的資源來管理。
像其他任何的虛擬化一樣,數(shù)據(jù)虛擬化是這樣一種方法,它允許您訪問、管理和優(yōu)化異構(gòu)的基礎(chǔ)設(shè)施,就好像它是一個單一的、邏輯上統(tǒng)一的資源。這使您能夠抽象外部接口,從內(nèi)部實施的一些服務(wù)、功能或其他資源。
數(shù)據(jù)虛擬化的核心是一個抽象層,如任何的SQL虛擬化方法,支持邏輯上統(tǒng)一的訪問、查詢、報告、預(yù)測分析,和其他針對不同的后端數(shù)據(jù)存儲庫(如關(guān)系型數(shù)據(jù)庫、Hadoop、NoSQL,等等)的應(yīng)用程序。當(dāng)然,數(shù)據(jù)虛擬化可能會轉(zhuǎn)而依賴虛擬化基礎(chǔ)設(shè)施的其他層,如存儲和服務(wù)器平臺,在某些情況下,可能遍布不同的地理位置和多個云環(huán)境。
然而,在我們正在討論的許多層中,數(shù)據(jù)的虛擬化是典型的不“性感”的話題。但它是根本,如果你希望你的大數(shù)據(jù)云平臺解決以下業(yè)務(wù)需求:
* 彈性的高級分析資源
* 消耗一切的資源,獲取起源于任何來源、格式和圖表的信息
* 延遲敏捷的資源,保持、匯總和處理任何動態(tài)的和靜態(tài)的信息組合
* 聯(lián)合的資源,綿延于整個價值鏈、跨越私有云和公有云
* 無縫的互操作性資源,可以讓你改變、擴展和演進后端數(shù)據(jù)平臺,不會打破現(xiàn)有的工具和應(yīng)用程序的互操作性
是的,這是一項艱巨的任務(wù)。顯然,數(shù)據(jù)虛擬化以及數(shù)據(jù)虛擬化的基礎(chǔ),做起來要比談?wù)摾щy得多。另外,它的實施、管理或優(yōu)化都不便宜。
基于云計算的大數(shù)據(jù)將需要日益復(fù)雜的虛擬化基礎(chǔ)架構(gòu)。這并不奇怪,大多數(shù)的數(shù)據(jù)專業(yè)人員接近這個混亂的問題的方式,與天文學(xué)家試圖映射宇宙的暗物質(zhì)大致相同。他們知道這是一個必不可少的繁瑣的苦差事。說實話,大數(shù)據(jù)專業(yè)人員會更喜歡將其戰(zhàn)略望遠鏡指向那些“性感的天體” - 諸如 Hadoop,NoSQL,等等 -在新技術(shù)的蒼穹之中,它們的光芒最為耀眼。
隨著你的云中的大數(shù)據(jù)應(yīng)用程序的范圍不斷增加,幾乎可以肯定你會需要更深層次的虛擬化。混合大數(shù)據(jù)云的難以處理的異構(gòu)將推動你朝著這個方向努力。在你的私有云之中,不斷融入新應(yīng)用的大數(shù)據(jù)平臺也需要一個虛擬化層,將新的處理方式與以往的IT資產(chǎn)進行橋接。這將源于你正在進行的平臺現(xiàn)代化和遷移的努力,源于你將創(chuàng)新的平臺放到云中的需要,以及源于云供應(yīng)商的產(chǎn)品增強。除非你能夠把你所有的大數(shù)據(jù)應(yīng)用放到一個“萬能”的公有云服務(wù)上面,否則你將需要虛擬化以訪問公有云、私有云和混合云架構(gòu)。
顯然,你的數(shù)據(jù)虛擬化的路徑和程度,將取決于你的業(yè)務(wù)所需求的大數(shù)據(jù)環(huán)境的復(fù)雜度。此外,它還將取決于你對風(fēng)險和復(fù)雜性的容忍度。
在未來的幾年內(nèi),隨著更復(fù)雜的分析模型、規(guī)則和信息匯聚在大數(shù)據(jù)云,該平臺將成為虛擬化訪問、執(zhí)行和管理的核心。在這個新的世界里, MapReduce將是關(guān)鍵的(但不是唯一的)開發(fā)框架。未來,MapReduce將成為一個更廣泛的、但在很大程度上仍然不確定的虛擬化架構(gòu)的一部分,用于在線分析處理和事務(wù)計算。
目前還沒有人著手去勾勒一些層、接口和抽象化,將云大數(shù)據(jù)宇宙從頭到尾膠合在一起。這是另外一個艱巨的任務(wù)。
責(zé)任編輯:何健
-
曹志剛:我們期待風(fēng)電成為中國的主力能源
2020-11-17風(fēng)電,能源,主力能源 -
張鈞:未來配電網(wǎng)內(nèi)涵特征與發(fā)展框架研究
-
習(xí)近平:持續(xù)增強電力裝備、新能源等領(lǐng)域的全產(chǎn)業(yè)鏈優(yōu)勢
2020-11-02電力裝備,新能源,通信設(shè)備
-
曹志剛:我們期待風(fēng)電成為中國的主力能源
2020-11-17風(fēng)電,能源,主力能源 -
張鈞:未來配電網(wǎng)內(nèi)涵特征與發(fā)展框架研究
-
杜祥琬:創(chuàng)新觀念,推動能源高質(zhì)量發(fā)展
2020-09-28能源,創(chuàng)新,觀點
-
PPT丨王繼業(yè):電力系統(tǒng)儲能發(fā)展與挑戰(zhàn)
2020-10-14儲能,電力儲能,儲能應(yīng)用 -
奮斗姿態(tài)書寫人生底色 銀隆儲能“小哥哥”的職場進擊姿勢
2020-10-12銀隆新能源,儲能,新能源汽車 -
鄒驥:通過發(fā)展清潔能源 提高中國公信力
2020-06-28鄒驥,清潔能源,綠色低碳能源