趣侃大數(shù)據(jù):人人都有洞察力
言,我認(rèn)為是幾個(gè)因素共同導(dǎo)致了這一朗朗上口的詞匯的流行。其中之一是人們?cè)诓煌I(lǐng)域采集到的數(shù)據(jù)量之大,達(dá)到了前所未有的程度,而傳感、存儲(chǔ)和網(wǎng)絡(luò)等計(jì)算機(jī)科學(xué)領(lǐng)域也在不斷前行。人們需要收集大量數(shù)據(jù),一部分原因在于許多人類活動(dòng)已經(jīng)轉(zhuǎn)向了網(wǎng)絡(luò),各種交易和事件數(shù)據(jù)的收集變得十分容易,而且能夠?qū)崟r(shí)同步收集。這些活動(dòng)包括電子商務(wù)、通過(guò)道路上的傳感器記錄汽車行駛狀況、利用位置數(shù)據(jù)提供智能手機(jī)服務(wù)等。而在醫(yī)療領(lǐng)域,基因組研究的突飛猛進(jìn)和醫(yī)院臨床數(shù)據(jù)捕獲,將越來(lái)越多的GB級(jí)乃至TB級(jí)患者數(shù)據(jù)輸送到數(shù)據(jù)庫(kù)中。
吳甘沙:數(shù)據(jù)總量的增長(zhǎng)主要?dú)w功于非結(jié)構(gòu)化數(shù)據(jù)的增長(zhǎng),目前普遍被認(rèn)為占到85%以上,而且增速比結(jié)構(gòu)化數(shù)據(jù)快得多,有種說(shuō)法是快10—50倍。
早期的非結(jié)構(gòu)化數(shù)據(jù),主要是文本,如電子郵件、文檔等。隨著互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的發(fā)展,又?jǐn)U展到網(wǎng)頁(yè)、社交媒體、感知數(shù)據(jù),涵蓋音頻、圖片、視頻、模擬信號(hào)等等,真正詮釋了數(shù)據(jù)的多樣性。但同時(shí),低信息密度的非結(jié)構(gòu)化數(shù)據(jù)是大數(shù)據(jù)的一大挑戰(zhàn)。
從具體內(nèi)容上,大數(shù)據(jù)通常分為四類:科研數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、企業(yè)數(shù)據(jù)、感知數(shù)據(jù)。
科研數(shù)據(jù)屬于大數(shù)據(jù)時(shí)代前很久就存在的“史前生物”,可能來(lái)自生物工程、天文望遠(yuǎn)鏡或粒子對(duì)撞機(jī),不一而足。這些數(shù)據(jù)存在于封閉系統(tǒng)中,玩家都是傳統(tǒng)上做高性能計(jì)算的企業(yè)或機(jī)構(gòu)。最著名的是歐洲核子研究中心的大型強(qiáng)子對(duì)撞機(jī),此機(jī)不撞則已,一撞驚人,工作狀態(tài)下每秒產(chǎn)生PB級(jí)的數(shù)據(jù)。
互聯(lián)網(wǎng)大數(shù)據(jù)是目前這個(gè)時(shí)代的主流,尤其社交媒體被認(rèn)為是大數(shù)據(jù)的爆發(fā)點(diǎn)。幾乎所有的大數(shù)據(jù)技術(shù)都起源于互聯(lián)網(wǎng)企業(yè)。所有這些企業(yè)當(dāng)中,做搜索的最大,百度達(dá)到了千PB的規(guī)模,谷歌更大一些。臉譜網(wǎng)、雅虎等都在數(shù)百PB,亞馬遜、阿里巴巴應(yīng)該也同在此列。
進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代后,移動(dòng)平臺(tái)的感知功能和LBS(基于位置的服務(wù))的普及,使得互聯(lián)網(wǎng)數(shù)據(jù)與感知數(shù)據(jù)產(chǎn)生了重疊。同樣,企業(yè)數(shù)據(jù)和感知數(shù)據(jù)也有重合,如企業(yè)會(huì)部署物聯(lián)網(wǎng)收集感知數(shù)據(jù)。但感知數(shù)據(jù)的體量要大得多,甚至有預(yù)測(cè)感知數(shù)據(jù)的總量在2015年超過(guò)社交媒體,并達(dá)到后者的10—20倍。企業(yè)自身的數(shù)據(jù)比起十年前雖然沒(méi)有數(shù)量級(jí)的提升,但也得到了有機(jī)的增長(zhǎng):一方面,內(nèi)部數(shù)據(jù)從結(jié)構(gòu)化數(shù)據(jù)擴(kuò)展到非結(jié)構(gòu)化的數(shù)據(jù),另一方面,更強(qiáng)調(diào)與新的外部數(shù)據(jù)源如社交媒體數(shù)據(jù)的融合。
大數(shù)據(jù)的價(jià)值在于獲得洞察力
記者:雖然有多種解讀,但業(yè)界一般認(rèn)為,大數(shù)據(jù)有四個(gè)“V”字開(kāi)頭的特征:Volume(體量), Velocity(速度), Variety(種類),Value(價(jià)值)。這其實(shí)也是大數(shù)據(jù)概念的組成。Volume是指大數(shù)據(jù)巨大的數(shù)據(jù)量與數(shù)據(jù)完整性;Velocity可以理解為更快地滿足實(shí)時(shí)性需求;Variety則意味著要在海量、種類繁多的數(shù)據(jù)間發(fā)現(xiàn)其內(nèi)在關(guān)聯(lián);Value最重要,它是大數(shù)據(jù)的最終意義——獲得洞察力和價(jià)值。簡(jiǎn)單說(shuō),大數(shù)據(jù)4個(gè)V:就是體量大,快速化,類型雜,價(jià)值大。
張亞勤:體量容易理解。速度可以理解為更快地滿足實(shí)時(shí)性需求。數(shù)據(jù)的實(shí)時(shí)化需求正越來(lái)越清晰。對(duì)普通人而言,開(kāi)車去吃飯,會(huì)先用移動(dòng)終端中的地圖查詢餐廳的位置,預(yù)計(jì)行車路線的擁堵情況,了解停車場(chǎng)信息甚至是其他用戶對(duì)餐廳的評(píng)論。吃飯時(shí),會(huì)用手機(jī)拍攝食物的照片,編輯簡(jiǎn)短評(píng)論發(fā)布到微博或者微信上,還可以用LBS應(yīng)用查找在同一間餐廳吃飯的人,看有沒(méi)有好友在附近……
通過(guò)各種有線和無(wú)線網(wǎng)絡(luò),人和人、人和各種機(jī)器、機(jī)器和機(jī)器之間產(chǎn)生無(wú)處不在的連接,這些連接不可避免地帶來(lái)數(shù)據(jù)交換。而數(shù)據(jù)交換的關(guān)鍵是降低延遲,以近乎實(shí)時(shí)——意味著小于250毫秒的方式呈獻(xiàn)給用戶。
類型雜必然促使我們對(duì)海量數(shù)據(jù)進(jìn)行分析、處理和集成,找出原本看來(lái)毫無(wú)關(guān)系的那些數(shù)據(jù)的關(guān)聯(lián)性,把似乎沒(méi)有用的數(shù)據(jù)變成有用的信息,以支持我們做出的判斷,最終形成大數(shù)據(jù)的價(jià)值——獲得洞察力和價(jià)值。
大數(shù)據(jù)的崛起,正是在人工智能、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘等技術(shù)的迅速發(fā)展驅(qū)動(dòng)下,呈現(xiàn)這么一個(gè)過(guò)程:將信號(hào)轉(zhuǎn)化為數(shù)據(jù),將數(shù)據(jù)分析為信息,將信息提煉為知識(shí),以知識(shí)促成決策和行動(dòng)。所以真正好的大數(shù)據(jù)系統(tǒng),重要的不是越多越好,其實(shí)越少越好,最終變成一個(gè)決策,這才是最關(guān)鍵的。
大數(shù)據(jù)開(kāi)啟了一個(gè)新的世界,人們
責(zé)任編輯:廖生玨
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國(guó)自主研制的“人造太陽(yáng)”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實(shí)踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進(jìn)這個(gè)行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動(dòng)化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計(jì)落地:鼓勵(lì)“光儲(chǔ)充放”,有序推進(jìn)氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計(jì) -
中國(guó)自主研制的“人造太陽(yáng)”重力支撐設(shè)備正式啟運(yùn)
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長(zhǎng)期助力儲(chǔ)能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市
-
山西省首座電力與通信共享電力鐵塔試點(diǎn)成功
-
中國(guó)電建公司公共資源交易服務(wù)平臺(tái)摘得電力創(chuàng)新大獎(jiǎng)
-
電力系統(tǒng)對(duì)UPS的技術(shù)要求