所有評論家都喜歡提到“尿片與啤酒”的故事，認(rèn)為它是大數(shù)據(jù)分析的開始：1960年代，沃爾瑪連鎖超市研究銷售記錄發(fā)現(xiàn)，給孩子買紙尿片的男人都會順便買幾瓶啤酒。為此，超市在尿布旁邊擺上了啤酒架，方便顧客。這是半個世紀(jì)前的事了。
     1980年代著名的未來學(xué)書籍《第三次浪潮》，預(yù)言未來信息時代必然有“big data（大數(shù)據(jù)）”應(yīng)用。不過，就在5年前，網(wǎng)上百科全書Wikipedia還不愿開辟“big data”的詞條，認(rèn)為這不過是兩個單詞的組合而已。當(dāng)時網(wǎng)上普遍認(rèn)為，大數(shù)據(jù)更多的是概念和憧憬，其志向不小，成就卻不多。
      而就在近兩年，大數(shù)據(jù)應(yīng)用突然爆炸，五彩繽紛的創(chuàng)意都變成現(xiàn)實。即使最謹(jǐn)慎的觀察家也承認(rèn)，大數(shù)據(jù)的商業(yè)應(yīng)用時代已經(jīng)來臨，正因為它前所未有的能力——準(zhǔn)確預(yù)測。
數(shù)據(jù)大爆發(fā)，帶來“新石油”
      去年，演繹白宮政治的《紙牌屋》成了美國收視率第一的電視劇，這絲毫不出制片人的意料——計算機(jī)分析了多年的數(shù)據(jù)，發(fā)現(xiàn)一部電視劇如果具備三個元素，就必定大賣：導(dǎo)演大衛(wèi)·芬奇、奧斯卡影帝凱文·史派西、BBC劇風(fēng)格。《紙牌屋》就是在數(shù)據(jù)指導(dǎo)下，如法炮制，果然紅透半邊天。這個例子很能說明大數(shù)據(jù)應(yīng)用的特點：從海量數(shù)據(jù)里發(fā)掘出從前沒意識到的聯(lián)系，并且將它轉(zhuǎn)化為利潤。
      邁爾-舍恩伯格和庫克耶合著的《大數(shù)據(jù)時代》一書認(rèn)為，數(shù)據(jù)量一旦變“大”，根據(jù)數(shù)據(jù)預(yù)測就會十分可靠，而不再是小數(shù)據(jù)時代的模糊推測了。他們認(rèn)為，大數(shù)據(jù)的核心就是預(yù)測。
      美國工程師愛奇奧尼搭飛機(jī)時，發(fā)現(xiàn)旁邊的旅客買票比他便宜。于是他開發(fā)了一個系統(tǒng)，預(yù)測機(jī)票價格的漲跌。截至2012年，他的“faircast”系統(tǒng)用網(wǎng)上的10萬億條價格記錄去推測機(jī)票何時價格為何，預(yù)測準(zhǔn)確度達(dá)75%，幫助旅客平均每張機(jī)票節(jié)省50美元。
      愛奇奧尼并不懂航空業(yè)，他所做的僅僅是查閱過去的數(shù)據(jù)，就能從中做出有價值的判斷。
     還有一個例子廣為人知。google能從網(wǎng)民搜索關(guān)鍵詞中推斷出一場流感正在蔓延。工程師實驗了4.5億個不同的數(shù)學(xué)模型，最后發(fā)現(xiàn)，45條檢索詞條組合用于某個數(shù)學(xué)模型，與過去的流感數(shù)據(jù)十分吻合。由此，google第一時間發(fā)現(xiàn)了2009年甲型H1N1流感的傳播，比官方確認(rèn)早一兩周。
     無獨有偶，美國政府為了公布CPI數(shù)據(jù)，雇用很多人調(diào)查90個城市的8萬種價格信息，每年要花費2.5億美元。而麻省理工學(xué)院的兩位經(jīng)濟(jì)學(xué)家，通過一個軟件在網(wǎng)上捕捉50萬種商品的價格信息去做同樣的事情。金融危機(jī)時，雷曼剛破產(chǎn)他們就發(fā)現(xiàn)了通貨緊縮的趨勢，比政府早發(fā)現(xiàn)兩個月。
     大數(shù)據(jù)預(yù)測并不復(fù)雜，不論是價格預(yù)測，還是疫情預(yù)測，只要有海量的數(shù)據(jù)就行。Word程序中語法檢查使用的4種算法，隨著其依靠的數(shù)據(jù)量從500萬變?yōu)?0億，表現(xiàn)都大為提高。彼得·諾威格，谷歌公司的人工智能專家寫道：“大數(shù)據(jù)基礎(chǔ)上的簡單算法比小數(shù)據(jù)基礎(chǔ)上的復(fù)雜算法更有效。”
     但在“尿片與啤酒”的年代，10億條級別的信息量還很難獲得。人們只能建立數(shù)據(jù)庫，將一部分信息分門別類地入庫，其他的丟棄。直到最近，計算機(jī)處理速度的飛躍和低成本的存儲，才實現(xiàn)了“一切盡錄”，讓大數(shù)據(jù)分析成為現(xiàn)實。
    目前，美國股市三分之二的交易，是計算機(jī)程序根據(jù)海量數(shù)據(jù)預(yù)測和自動做出的。由此來看，美國2012年3月的《大數(shù)據(jù)研究和發(fā)展計劃》中提出的“大數(shù)據(jù)是新石油”，并不完全是理想，已經(jīng)部分成真。
記錄一個人的過去，就知道他的未來
     即使是普通人也能注意到，各個領(lǐng)域收集的數(shù)據(jù)量都在爆發(fā)。人類存儲信息量的增長速度比經(jīng)濟(jì)增速快4倍，而計算機(jī)數(shù)據(jù)處理能力的增速更比經(jīng)濟(jì)增速快了9倍。
     信息爆炸的端倪參見美國“斯隆數(shù)字巡天望遠(yuǎn)鏡”：運(yùn)行短短幾周，斯隆收集的數(shù)據(jù)比天文學(xué)歷史上總共的數(shù)據(jù)還多；而預(yù)計2016年，智利的“大視場全景巡天望遠(yuǎn)鏡”5天就能收集同樣多的信息。不光是科學(xué)儀器，互聯(lián)網(wǎng)、視頻監(jiān)控網(wǎng)，以及傳感器網(wǎng)（物聯(lián)網(wǎng)），都在提供海量信息。有人甚至預(yù)測，不需太久，信息爆炸造成的一年數(shù)據(jù)量就將超過人類歷史上積攢的所有數(shù)據(jù)量。
     如今，一個人的電子郵件、手機(jī)通話記錄、網(wǎng)購記錄、網(wǎng)上發(fā)布內(nèi)容等等，全都在各家公司的硬盤里存儲著；同時，他的行蹤被手機(jī)記下；身影被街頭的監(jiān)控器捕捉……一旦這些數(shù)據(jù)串聯(lián)起來，這個人的一舉一動幾乎無從遁形。
     讓人吃驚的是，根據(jù)《爆發(fā)》一書的作者巴拉巴西的論證，人的行為是高度重復(fù)和可預(yù)測的（巴拉巴西甚至算出，93%的行為是可預(yù)測的）。因此一旦明白了人的過去，就掌握了他的未來。
     大大小小的機(jī)構(gòu)，都想利用大數(shù)據(jù)時代這個神奇的現(xiàn)象獲利。其中一些對人類行為的預(yù)測，已經(jīng)顯示出威力。今年的奧斯卡金像獎頒獎禮之前，微軟紐約研究院的大衛(wèi)·羅斯柴爾德通過大數(shù)據(jù)分析，預(yù)測了各大獎項的歸屬。結(jié)果除了最佳導(dǎo)演獎外，他全部猜中。而他在2012年美國總統(tǒng)大選中，就根據(jù)過去的數(shù)據(jù)，準(zhǔn)確預(yù)測了51個選區(qū)中50個地區(qū)的選舉結(jié)果。
     大型超市Target公司根據(jù)20多種購買物，判斷顧客的孕期階段，并適時寄去推薦清單。有時，甚至顧客還不知道自己已經(jīng)懷孕了，Target的系統(tǒng)就能從其購買偏好的改變上判斷出來。
     美國一家個人消費評估公司推出了“遵從醫(yī)囑評分”，這個評分會幫助醫(yī)療機(jī)構(gòu)知道哪些人更需要被提醒及時用藥。這個評分是分析一系列變量來確定的，比如某人在某地居住多久，是否結(jié)婚，多久換一個工作及有沒有私家車。
     要知道一個人是否會及時吃藥，為何要查閱他的工作簡歷或者私家車？誰都說不上來。但事實是，只要過去的數(shù)據(jù)顯示，有私家車、很少換工作的人更愿意按時服藥，那么今后肯定也是如此。
     而微軟跟華盛頓中心醫(yī)院合作，發(fā)現(xiàn)充血性心力衰竭病人如果初診中有類似“壓抑”這種暗示心理疾病的詞，再度入院的可能性也會增大。
知道如此就夠了，不必問為何如此
    《大數(shù)據(jù)時代》一書中強(qiáng)調(diào)，大數(shù)據(jù)不關(guān)心“因果”，只在乎“相關(guān)”。這一點也被此書的擁躉們反復(fù)強(qiáng)調(diào)。因為大數(shù)據(jù)分析，人們理解世界，不再需要探討“內(nèi)在機(jī)理”。大數(shù)據(jù)不是教機(jī)器像人一樣思考，而是簡單的數(shù)學(xué)算法用在海量數(shù)據(jù)上，讓數(shù)據(jù)自己說話。
     在最難確定因果關(guān)系的人體科學(xué)領(lǐng)域，大數(shù)據(jù)分析同樣屢有斬獲。中英人壽保險公司用幾百種生活方式的數(shù)據(jù)，比如愛好、常瀏覽的網(wǎng)站、常看的節(jié)目以及收入等，找出更可能患高血壓、糖尿病和抑郁癥的人。
     丹麥癌癥協(xié)會2011年發(fā)表文章，利用1985年以來的全部手機(jī)用戶數(shù)據(jù)，與同期所有癌癥患者數(shù)據(jù)結(jié)合來看，發(fā)現(xiàn)癌癥跟使用手機(jī)并沒有關(guān)系。
     還有美國研究者通過16個不同數(shù)據(jù)，發(fā)現(xiàn)早產(chǎn)兒穩(wěn)定的生命體征不是病情好轉(zhuǎn)的標(biāo)志，而是暴風(fēng)雨前的寧靜。研究者并不知道具體原因，只知道數(shù)據(jù)顯示出是如此。
     有了大數(shù)據(jù)，分析不必知其所以然。著名的谷歌翻譯小組，竟然不需要語言學(xué)家。他們完全是讓計算機(jī)根據(jù)網(wǎng)上的數(shù)據(jù)，去判斷一段英文可能對應(yīng)于哪一段中文。一開始這種翻譯質(zhì)量不會太好，隨著信息量的增加，機(jī)器會翻譯得越來越讓人滿意。
     有了大數(shù)據(jù)，分析也不需要太精確，因為批量處理允許瑕疵存在。ZestFinance是一家由計算機(jī)決定是否為客戶提供貸款的公司。它的客戶信息表中有大量空白。甚至有10%的客戶屬性是“已去世”，這顯然是錯的，實際上這些客戶是還貸款的。這家公司不會太精確地對待它的數(shù)據(jù)，然而其貸款拖欠率比行業(yè)平均水平低三分之一。