大數(shù)據(jù)這個(gè)詞現(xiàn)在已然不再是IT圈的“專利”了，從去年的春晚，到剛剛過(guò)去的兩會(huì)，都能見(jiàn)到它的身影，但實(shí)際上春晚與兩會(huì)的數(shù)據(jù)都只能叫做小數(shù)據(jù)，它與真正的大數(shù)據(jù)還相差甚遠(yuǎn)。即便如此，數(shù)據(jù)所產(chǎn)生的價(jià)值已經(jīng)被人們所認(rèn)知。

　　就大數(shù)據(jù)來(lái)說(shuō)，它的發(fā)展可以分成三個(gè)階段，第一個(gè)階段是組織內(nèi)部的數(shù)據(jù)，這些數(shù)據(jù)通常都是結(jié)構(gòu)化的數(shù)據(jù)，我們一般將這些數(shù)據(jù)進(jìn)行分類、排序等操作，將相同類型的數(shù)據(jù)進(jìn)行對(duì)比、分析、挖掘，總而言之基本上都是統(tǒng)計(jì)工作。到了第二階段，數(shù)據(jù)的范圍擴(kuò)大到行業(yè)內(nèi)，各種各樣的應(yīng)用數(shù)據(jù)出現(xiàn)，數(shù)據(jù)量大規(guī)模增長(zhǎng)，尤其是非結(jié)構(gòu)化數(shù)據(jù)的出現(xiàn)。典型的像視頻、圖片這一類的數(shù)據(jù)，在這一階段的特點(diǎn)就是非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)并存，且數(shù)據(jù)量巨大，要對(duì)這些數(shù)據(jù)進(jìn)行分析是我們目前現(xiàn)階段所處在的狀態(tài)。

　　第三階段則是未來(lái)大數(shù)據(jù)發(fā)展的理想化狀態(tài)，首先它一定是跨行業(yè)的，且數(shù)據(jù)的范圍是整個(gè)社會(huì)。通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行分析加以使用，將直接改變我們的生活方式，這也是現(xiàn)在很多企業(yè)所設(shè)想的未來(lái)交通、醫(yī)療、教育等領(lǐng)域的發(fā)展方向。

　　大數(shù)據(jù)太大不敢用

　　第三個(gè)階段是我們所憧憬的，但在我們所處的第二階段面對(duì)的更多是問(wèn)題。其中的一個(gè)問(wèn)題就是“大”。大數(shù)據(jù)給人最直觀的感受就是大，它所帶來(lái)的問(wèn)題不僅僅是存儲(chǔ)，更多的是龐大的數(shù)據(jù)沒(méi)辦法使用，以交通為例，從2001年開(kāi)始在北京的主干道上都增設(shè)了一些卡口設(shè)備，到了今天基本上大街小巷都能看到。

　　這些設(shè)備每天所拍攝的視頻及照片產(chǎn)生的數(shù)據(jù)量是驚人的，僅照片每天就能產(chǎn)生2千萬(wàn)張，而解決這些數(shù)據(jù)的存儲(chǔ)只是最基本的任務(wù)，我們更需要的是使用這些數(shù)據(jù)。例如對(duì)套牌車輛的檢查，對(duì)嫌疑車輛的監(jiān)控，當(dāng)你想要使用這些數(shù)據(jù)的時(shí)候，傳統(tǒng)的數(shù)據(jù)庫(kù)以及系統(tǒng)架構(gòu)，放進(jìn)這么龐大的數(shù)據(jù)，是根本跑不動(dòng)的。這一問(wèn)題導(dǎo)致很多企業(yè)對(duì)大數(shù)據(jù)望而卻步。

　　大數(shù)據(jù)太難不會(huì)用

　　說(shuō)到大數(shù)據(jù)的使用，自然離不開(kāi)Hadoop，Hadoop本身提供了分布式系統(tǒng)中兩個(gè)最重要的東西：分布式存儲(chǔ)(HDFS)和分布式計(jì)算(Mapreduce)。這兩者解決了處理大數(shù)據(jù)面臨的計(jì)算和存儲(chǔ)問(wèn)題，但更為重要的是，為開(kāi)發(fā)大數(shù)據(jù)應(yīng)用開(kāi)辟了道路。

　　Hadoop是目前解決大數(shù)據(jù)問(wèn)題最流行的一種方式，但其仍然有不成熟的地方，曾作為雅虎云計(jì)算以及Facebook軟件工程師的Jonathan Gray就表示：“Hadoop實(shí)施難度大，且復(fù)雜，如果不解決技術(shù)復(fù)雜性問(wèn)題，Hadoop將被自己終結(jié)。”正是由于這樣的原因，Gray創(chuàng)辦了自己的公司——Continuuity，這家公司的目標(biāo)就是在Hadoop和Hbase基礎(chǔ)上創(chuàng)建一個(gè)抽象層，屏蔽掉Hadoop底層技術(shù)的復(fù)雜性。由此可見(jiàn)想要用好大數(shù)據(jù)又是一大考驗(yàn)。

　　大數(shù)據(jù)太貴用不起

　　Hadoop的特點(diǎn)就是讓你可以使用廉價(jià)的x86設(shè)備來(lái)完成大數(shù)據(jù)的業(yè)務(wù)，但事實(shí)上如果你真想要用它來(lái)完成某些商業(yè)任務(wù)你還得是個(gè)“土豪”。在國(guó)外那些使用大數(shù)據(jù)的成功案例里，亞馬遜曾給出過(guò)這樣一組數(shù)字，NASA需要為45天的數(shù)據(jù)存儲(chǔ)服務(wù)支付超過(guò)100萬(wàn)美元。像Quantcast這樣的數(shù)字廣告公司，同樣也是花費(fèi)了巨額的資金用在Hadoop技術(shù)上，來(lái)根據(jù)自己的需求定制系統(tǒng)。從上面兩個(gè)案例來(lái)看用于商業(yè)用途的大數(shù)據(jù)現(xiàn)階段還是很費(fèi)錢的，隨著大數(shù)據(jù)軟件環(huán)境逐漸成熟，開(kāi)發(fā)工具增多，價(jià)格在未來(lái)會(huì)逐漸降低。

　　從上面羅列的這三點(diǎn)困難，其實(shí)并不是要給大數(shù)據(jù)潑冷水，而是想說(shuō)大數(shù)據(jù)想要淘金并不簡(jiǎn)單，首先在做大數(shù)據(jù)之前，好好盤點(diǎn)一下自己擁有的資源，不僅僅是數(shù)據(jù)資源，還包括知識(shí)與技能。確定了自己的能力之后，選擇一個(gè)能夠發(fā)揮你現(xiàn)有資源最大價(jià)值的項(xiàng)目。如果你需要幫手，應(yīng)先考慮商業(yè)顧問(wèn)，再考慮技術(shù)人才。為了解答一個(gè)生意上的困惑花下的錢，叫作投資，而把錢投到一個(gè)擁有特殊技能的IT人才身上，那就叫沉沒(méi)成本。當(dāng)你有了這些之后，選擇更靈活且可擴(kuò)展的工具，為以后的擴(kuò)充打好基礎(chǔ)。更重要的是——從小規(guī)模做起。

　　也許不遠(yuǎn)的將來(lái)，大數(shù)據(jù)分析會(huì)成為企業(yè)必備技能。但那一天還遠(yuǎn)遠(yuǎn)未曾到來(lái)。當(dāng)那些供應(yīng)商花了上百萬(wàn)美元布局大數(shù)據(jù)分析時(shí)，你可以放心，你并沒(méi)有錯(cuò)過(guò)什么。而且你的錢花到了更需要的地方，獲得了更多的效率和價(jià)值。