大數(shù)據(jù)驅(qū)動(dòng)時(shí)代云計(jì)算規(guī)模化高性能計(jì)算

2013-10-25 13:33:42 ZDnet 　點(diǎn)擊量：評(píng)論 (0)

不久前的一次互聯(lián)網(wǎng)大會(huì)上，與會(huì)人員已經(jīng)明確將重點(diǎn)放在擴(kuò)大網(wǎng)絡(luò)帶寬和通過(guò)網(wǎng)絡(luò)的增強(qiáng)提高合作方面，這將帶來(lái)更好的視頻會(huì)議和其他大數(shù)據(jù)應(yīng)用。　　這些活動(dòng)使企業(yè)都意識(shí)到他們將為大數(shù)據(jù)創(chuàng)造更大的網(wǎng)絡(luò)管

，以確保每個(gè)人都遵循相同的大數(shù)據(jù)政策和程序，以便讓企業(yè)所需要的大數(shù)據(jù)類型被存儲(chǔ)、收集，并符合其最終的經(jīng)營(yíng)宗旨。
　　所有上述這一切都是艱難的，勞動(dòng)力密集的工作，可能并不總是出現(xiàn)在項(xiàng)目的時(shí)間表里，但卻是必不可少的。
　　IT部門如何確保其管治滿足大數(shù)據(jù)發(fā)展的步伐?
　　協(xié)調(diào)監(jiān)管和審計(jì)，提前確保你的企業(yè)所管治的大數(shù)據(jù)是最新的。同時(shí)也必須意識(shí)到，未來(lái)相關(guān)管理法規(guī)的變化，可能會(huì)影響數(shù)據(jù)治理。
　　大數(shù)據(jù)項(xiàng)目是跨學(xué)科的，因?yàn)榇髷?shù)據(jù)的有效管理是每個(gè)人的責(zé)任。
　　由于這些工具的靈活性，這些工具現(xiàn)在也正在為企業(yè)提供一個(gè)直接與大數(shù)據(jù)整合的平臺(tái)，如Hadoop和Cassandra(一個(gè)混合型的非關(guān)系的數(shù)據(jù)庫(kù))。然而，現(xiàn)在我們看到，老的供應(yīng)商也開(kāi)始在以新產(chǎn)品打入市場(chǎng)的堆棧來(lái)解決這一差距，并希望在未來(lái)一兩年內(nèi)再次洗牌，重新鞏固市場(chǎng)。
　　在大數(shù)據(jù)領(lǐng)域，高性能是一項(xiàng)特別的挑戰(zhàn)。大數(shù)據(jù)量的特質(zhì)和查詢速度使得數(shù)據(jù)將通過(guò)倉(cāng)庫(kù)工具Hive進(jìn)行整合，這意味著直接針對(duì)數(shù)據(jù)的查詢將抑制工具的動(dòng)態(tài)性能。
　　這些工具的關(guān)鍵用例是快速的發(fā)現(xiàn)而非創(chuàng)造標(biāo)準(zhǔn)的報(bào)告。這意味著所需的數(shù)據(jù)在本質(zhì)上是暫時(shí)性的——需要支持一種假設(shè)，然后丟棄。這導(dǎo)致了實(shí)現(xiàn)高性能的領(lǐng)先方案是創(chuàng)建特定的數(shù)據(jù)集，例如，通過(guò)引導(dǎo)圖減少工作量，以及捕捉可視化工具中的內(nèi)存。
　　可視化工具的一個(gè)關(guān)鍵性的好處是，他們改變了項(xiàng)目交付的方法。因?yàn)樗麄冊(cè)试S通過(guò)原型快速實(shí)現(xiàn)價(jià)值可視化，他們能夠在被納入一個(gè)工業(yè)化的平臺(tái)之前，在低成本點(diǎn)證明價(jià)值。作為這一進(jìn)程的一部分，可視化工具提供了一個(gè)共同的語(yǔ)言，通過(guò)它，企業(yè)的IT部門和業(yè)務(wù)部門可以進(jìn)行溝通。這就創(chuàng)造了一個(gè)對(duì)于需求的清晰的認(rèn)識(shí)，有助于設(shè)置什么能夠被交付的期望。
　　雖然能夠?qū)崿F(xiàn)數(shù)據(jù)的快速可視化有很多好處，我們也看到創(chuàng)建Excel電子表格或者Access數(shù)據(jù)庫(kù)進(jìn)行數(shù)據(jù)庫(kù)訪問(wèn)所存在的一些老的內(nèi)在危險(xiǎn)問(wèn)題。鑒于此，支持大數(shù)據(jù)可視化必須采用一個(gè)強(qiáng)大的數(shù)據(jù)管理方法已經(jīng)是一個(gè)不爭(zhēng)的事實(shí)。
　　這將創(chuàng)建一個(gè)混合環(huán)境的需要。在實(shí)踐中，這意味著數(shù)據(jù)首先是在大數(shù)據(jù)環(huán)境下進(jìn)行探索;然后，如果這些探索揭示了某些數(shù)據(jù)報(bào)道所需要的價(jià)值，此時(shí)數(shù)據(jù)才被推廣到傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，無(wú)論是MPP或內(nèi)存中的。
　　不容忽視的最后一個(gè)方面是，這些工具對(duì)于業(yè)務(wù)部門和IT部門之間的關(guān)系所產(chǎn)生的影響。可視化工具將授權(quán)業(yè)務(wù)，從而幫助企業(yè)業(yè)務(wù)部門實(shí)現(xiàn)快速的見(jiàn)解，并驅(qū)動(dòng)更高價(jià)值的數(shù)據(jù)資產(chǎn)。因此，IT部門將需要以一套更加靈活的方式來(lái)提供數(shù)據(jù)。
　　這將創(chuàng)建一個(gè)二分法。一方面，必須迅速提供信息，在更傳統(tǒng)的過(guò)程以外驅(qū)動(dòng)價(jià)值。另一方面，一旦解決方案需要工業(yè)化，還需要通過(guò)更傳統(tǒng)的項(xiàng)目進(jìn)行剛性的治理。未能達(dá)到適當(dāng)?shù)钠胶猓瑫?huì)導(dǎo)致挫折和價(jià)值的明顯減少。
　　兩個(gè)部門都有其自己的責(zé)任：業(yè)務(wù)部門需要建立適當(dāng)?shù)亩床煲?jiàn)解，并確保以企業(yè)正常的運(yùn)作方式驅(qū)動(dòng)變革，而IT部門需要提供一套適當(dāng)治理水平的數(shù)據(jù)服務(wù)。

責(zé)任編輯：廖生玨

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)，與本站無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)讀者僅作參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。

我要收藏

個(gè)贊