大數(shù)據(jù)驅(qū)動(dòng)時(shí)代 云計(jì)算 規(guī)模化 高性能計(jì)算
不久前的一次互聯(lián)網(wǎng)大會(huì)上,與會(huì)人員已經(jīng)明確將重點(diǎn)放在擴(kuò)大網(wǎng)絡(luò)帶寬和通過(guò)網(wǎng)絡(luò)的增強(qiáng)提高合作方面,這將帶來(lái)更好的視頻會(huì)議和其他大數(shù)據(jù)應(yīng)用。 這些活動(dòng)使企業(yè)都意識(shí)到他們將為大數(shù)據(jù)創(chuàng)造更大的網(wǎng)絡(luò)管
,以確保每個(gè)人都遵循相同的大數(shù)據(jù)政策和程序,以便讓企業(yè)所需要的大數(shù)據(jù)類型被存儲(chǔ)、收集,并符合其最終的經(jīng)營(yíng)宗旨。
所有上述這一切都是艱難的,勞動(dòng)力密集的工作,可能并不總是出現(xiàn)在項(xiàng)目的時(shí)間表里,但卻是必不可少的。
IT部門如何確保其管治滿足大數(shù)據(jù)發(fā)展的步伐?
協(xié)調(diào)監(jiān)管和審計(jì),提前確保你的企業(yè)所管治的大數(shù)據(jù)是最新的。同時(shí)也必須意識(shí)到,未來(lái)相關(guān)管理法規(guī)的變化,可能會(huì)影響數(shù)據(jù)治理。
大數(shù)據(jù)項(xiàng)目是跨學(xué)科的,因?yàn)榇髷?shù)據(jù)的有效管理是每個(gè)人的責(zé)任。
由于這些工具的靈活性,這些工具現(xiàn)在也正在為企業(yè)提供一個(gè)直接與大數(shù)據(jù)整合的平臺(tái),如Hadoop和Cassandra(一個(gè)混合型的非關(guān)系的數(shù)據(jù)庫(kù))。然而,現(xiàn)在我們看到,老的供應(yīng)商也開(kāi)始在以新產(chǎn)品打入市場(chǎng)的堆棧來(lái)解決這一差距,并希望在未來(lái)一兩年內(nèi)再次洗牌,重新鞏固市場(chǎng)。
在大數(shù)據(jù)領(lǐng)域,高性能是一項(xiàng)特別的挑戰(zhàn)。大數(shù)據(jù)量的特質(zhì)和查詢速度使得數(shù)據(jù)將通過(guò)倉(cāng)庫(kù)工具Hive進(jìn)行整合,這意味著直接針對(duì)數(shù)據(jù)的查詢將抑制工具的動(dòng)態(tài)性能。
這些工具的關(guān)鍵用例是快速的發(fā)現(xiàn)而非創(chuàng)造標(biāo)準(zhǔn)的報(bào)告。這意味著所需的數(shù)據(jù)在本質(zhì)上是暫時(shí)性的——需要支持一種假設(shè),然后丟棄。這導(dǎo)致了實(shí)現(xiàn)高性能的領(lǐng)先方案是創(chuàng)建特定的數(shù)據(jù)集,例如,通過(guò)引導(dǎo)圖減少工作量,以及捕捉可視化工具中的內(nèi)存。
可視化工具的一個(gè)關(guān)鍵性的好處是,他們改變了項(xiàng)目交付的方法。因?yàn)樗麄冊(cè)试S通過(guò)原型快速實(shí)現(xiàn)價(jià)值可視化,他們能夠在被納入一個(gè)工業(yè)化的平臺(tái)之前,在低成本點(diǎn)證明價(jià)值。作為這一進(jìn)程的一部分,可視化工具提供了一個(gè)共同的語(yǔ)言,通過(guò)它,企業(yè)的IT部門和業(yè)務(wù)部門可以進(jìn)行溝通。這就創(chuàng)造了一個(gè)對(duì)于需求的清晰的認(rèn)識(shí),有助于設(shè)置什么能夠被交付的期望。
雖然能夠?qū)崿F(xiàn)數(shù)據(jù)的快速可視化有很多好處,我們也看到創(chuàng)建Excel電子表格或者Access數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)庫(kù)訪問(wèn)所存在的一些老的內(nèi)在危險(xiǎn)問(wèn)題。鑒于此,支持大數(shù)據(jù)可視化必須采用一個(gè)強(qiáng)大的數(shù)據(jù)管理方法已經(jīng)是一個(gè)不爭(zhēng)的事實(shí)。
這將創(chuàng)建一個(gè)混合環(huán)境的需要。在實(shí)踐中,這意味著數(shù)據(jù)首先是在大數(shù)據(jù)環(huán)境下進(jìn)行探索;然后,如果這些探索揭示了某些數(shù)據(jù)報(bào)道所需要的價(jià)值,此時(shí)數(shù)據(jù)才被推廣到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù),無(wú)論是MPP或內(nèi)存中的。
不容忽視的最后一個(gè)方面是,這些工具對(duì)于業(yè)務(wù)部門和IT部門之間的關(guān)系所產(chǎn)生的影響。可視化工具將授權(quán)業(yè)務(wù),從而幫助企業(yè)業(yè)務(wù)部門實(shí)現(xiàn)快速的見(jiàn)解,并驅(qū)動(dòng)更高價(jià)值的數(shù)據(jù)資產(chǎn)。因此,IT部門將需要以一套更加靈活的方式來(lái)提供數(shù)據(jù)。
這將創(chuàng)建一個(gè)二分法。一方面,必須迅速提供信息,在更傳統(tǒng)的過(guò)程以外驅(qū)動(dòng)價(jià)值。另一方面,一旦解決方案需要工業(yè)化,還需要通過(guò)更傳統(tǒng)的項(xiàng)目進(jìn)行剛性的治理。未能達(dá)到適當(dāng)?shù)钠胶猓瑫?huì)導(dǎo)致挫折和價(jià)值的明顯減少。
兩個(gè)部門都有其自己的責(zé)任:業(yè)務(wù)部門需要建立適當(dāng)?shù)亩床煲?jiàn)解,并確保以企業(yè)正常的運(yùn)作方式驅(qū)動(dòng)變革,而IT部門需要提供一套適當(dāng)治理水平的數(shù)據(jù)服務(wù)。
所有上述這一切都是艱難的,勞動(dòng)力密集的工作,可能并不總是出現(xiàn)在項(xiàng)目的時(shí)間表里,但卻是必不可少的。
IT部門如何確保其管治滿足大數(shù)據(jù)發(fā)展的步伐?
協(xié)調(diào)監(jiān)管和審計(jì),提前確保你的企業(yè)所管治的大數(shù)據(jù)是最新的。同時(shí)也必須意識(shí)到,未來(lái)相關(guān)管理法規(guī)的變化,可能會(huì)影響數(shù)據(jù)治理。
大數(shù)據(jù)項(xiàng)目是跨學(xué)科的,因?yàn)榇髷?shù)據(jù)的有效管理是每個(gè)人的責(zé)任。
由于這些工具的靈活性,這些工具現(xiàn)在也正在為企業(yè)提供一個(gè)直接與大數(shù)據(jù)整合的平臺(tái),如Hadoop和Cassandra(一個(gè)混合型的非關(guān)系的數(shù)據(jù)庫(kù))。然而,現(xiàn)在我們看到,老的供應(yīng)商也開(kāi)始在以新產(chǎn)品打入市場(chǎng)的堆棧來(lái)解決這一差距,并希望在未來(lái)一兩年內(nèi)再次洗牌,重新鞏固市場(chǎng)。
在大數(shù)據(jù)領(lǐng)域,高性能是一項(xiàng)特別的挑戰(zhàn)。大數(shù)據(jù)量的特質(zhì)和查詢速度使得數(shù)據(jù)將通過(guò)倉(cāng)庫(kù)工具Hive進(jìn)行整合,這意味著直接針對(duì)數(shù)據(jù)的查詢將抑制工具的動(dòng)態(tài)性能。
這些工具的關(guān)鍵用例是快速的發(fā)現(xiàn)而非創(chuàng)造標(biāo)準(zhǔn)的報(bào)告。這意味著所需的數(shù)據(jù)在本質(zhì)上是暫時(shí)性的——需要支持一種假設(shè),然后丟棄。這導(dǎo)致了實(shí)現(xiàn)高性能的領(lǐng)先方案是創(chuàng)建特定的數(shù)據(jù)集,例如,通過(guò)引導(dǎo)圖減少工作量,以及捕捉可視化工具中的內(nèi)存。
可視化工具的一個(gè)關(guān)鍵性的好處是,他們改變了項(xiàng)目交付的方法。因?yàn)樗麄冊(cè)试S通過(guò)原型快速實(shí)現(xiàn)價(jià)值可視化,他們能夠在被納入一個(gè)工業(yè)化的平臺(tái)之前,在低成本點(diǎn)證明價(jià)值。作為這一進(jìn)程的一部分,可視化工具提供了一個(gè)共同的語(yǔ)言,通過(guò)它,企業(yè)的IT部門和業(yè)務(wù)部門可以進(jìn)行溝通。這就創(chuàng)造了一個(gè)對(duì)于需求的清晰的認(rèn)識(shí),有助于設(shè)置什么能夠被交付的期望。
雖然能夠?qū)崿F(xiàn)數(shù)據(jù)的快速可視化有很多好處,我們也看到創(chuàng)建Excel電子表格或者Access數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)庫(kù)訪問(wèn)所存在的一些老的內(nèi)在危險(xiǎn)問(wèn)題。鑒于此,支持大數(shù)據(jù)可視化必須采用一個(gè)強(qiáng)大的數(shù)據(jù)管理方法已經(jīng)是一個(gè)不爭(zhēng)的事實(shí)。
這將創(chuàng)建一個(gè)混合環(huán)境的需要。在實(shí)踐中,這意味著數(shù)據(jù)首先是在大數(shù)據(jù)環(huán)境下進(jìn)行探索;然后,如果這些探索揭示了某些數(shù)據(jù)報(bào)道所需要的價(jià)值,此時(shí)數(shù)據(jù)才被推廣到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù),無(wú)論是MPP或內(nèi)存中的。
不容忽視的最后一個(gè)方面是,這些工具對(duì)于業(yè)務(wù)部門和IT部門之間的關(guān)系所產(chǎn)生的影響。可視化工具將授權(quán)業(yè)務(wù),從而幫助企業(yè)業(yè)務(wù)部門實(shí)現(xiàn)快速的見(jiàn)解,并驅(qū)動(dòng)更高價(jià)值的數(shù)據(jù)資產(chǎn)。因此,IT部門將需要以一套更加靈活的方式來(lái)提供數(shù)據(jù)。
這將創(chuàng)建一個(gè)二分法。一方面,必須迅速提供信息,在更傳統(tǒng)的過(guò)程以外驅(qū)動(dòng)價(jià)值。另一方面,一旦解決方案需要工業(yè)化,還需要通過(guò)更傳統(tǒng)的項(xiàng)目進(jìn)行剛性的治理。未能達(dá)到適當(dāng)?shù)钠胶猓瑫?huì)導(dǎo)致挫折和價(jià)值的明顯減少。
兩個(gè)部門都有其自己的責(zé)任:業(yè)務(wù)部門需要建立適當(dāng)?shù)亩床煲?jiàn)解,并確保以企業(yè)正常的運(yùn)作方式驅(qū)動(dòng)變革,而IT部門需要提供一套適當(dāng)治理水平的數(shù)據(jù)服務(wù)。
責(zé)任編輯:廖生玨
免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與本站無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。
我要收藏
個(gè)贊
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國(guó)自主研制的“人造太陽(yáng)”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實(shí)踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個(gè)行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動(dòng)化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國(guó)自主研制的“人造太陽(yáng)”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長(zhǎng)期助力儲(chǔ)能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市
-
山西省首座電力與通信共享電力鐵塔試點(diǎn)成功
-
中國(guó)電建公司公共資源交易服務(wù)平臺(tái)摘得電力創(chuàng)新大獎(jiǎng)
-
電力系統(tǒng)對(duì)UPS的技術(shù)要求