鄔賀銓：大數(shù)據(jù)時(shí)代的發(fā)展趨勢(shì)

2013-09-29 09:53:59 EP電力信息化網(wǎng)　點(diǎn)擊量：評(píng)論 (0)

以從大數(shù)據(jù)中挖掘大價(jià)值為主題的第二屆中國(guó)大數(shù)據(jù)應(yīng)用論壇于2013年7月21日在北京大學(xué)英杰交流中心陽(yáng)光大廳隆重舉辦。本次活動(dòng)由北京大學(xué)信息化與信息管理研究中心和北京大學(xué)CIO班教務(wù)辦公室主辦，北達(dá)軟

中心化，這個(gè)圖是全世界用戶互聯(lián)網(wǎng)帶寬，國(guó)際互聯(lián)網(wǎng)帶寬是增加的，但是比例是下降的。左上角的圖就是美國(guó)全球各個(gè)州到美國(guó)的國(guó)際互聯(lián)網(wǎng)的流量，除了上面的線是拉丁美洲，下來(lái)之后略有回升，其他的亞洲、歐洲、美國(guó)互聯(lián)網(wǎng)國(guó)際流量比例是下降的，也就是說(shuō)絕對(duì)值增加、相對(duì)值下降，這是因?yàn)楹芏鄸|西只需要就近訪問(wèn)，并不需要跨洋越境了。

第四，大數(shù)據(jù)挖掘的挑戰(zhàn)。大數(shù)據(jù)技術(shù)涉及到數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)挖掘、數(shù)據(jù)呈現(xiàn)、數(shù)據(jù)安全等，涉及到很多環(huán)節(jié)。比如說(shuō)挖掘就需要對(duì)數(shù)據(jù)進(jìn)行清洗，進(jìn)行合并、壓縮，要轉(zhuǎn)換格式，然后進(jìn)行統(tǒng)計(jì)分析，知識(shí)發(fā)現(xiàn)以及可視化處理。然后找出它的關(guān)聯(lián)規(guī)則，分類、聚類，排序列，優(yōu)化路徑。這里涉及到一大批的數(shù)據(jù)挖掘的軟件，簡(jiǎn)單來(lái)說(shuō)，首先是MapReducers，左邊的圖上很多數(shù)據(jù)，不同顏色表示不同類型，首先通過(guò)Map把這些數(shù)據(jù)進(jìn)行分類，不同業(yè)務(wù)類型的數(shù)據(jù)分到不同的存儲(chǔ)服務(wù)器里頭，這樣就是為了簡(jiǎn)化運(yùn)算，在分類過(guò)程當(dāng)中數(shù)據(jù)是要加標(biāo)簽的，同時(shí)要把重復(fù)的去掉，這是進(jìn)行大數(shù)據(jù)的預(yù)分析前的一些操作。另外，大數(shù)據(jù)需要有很多服務(wù)器。曾經(jīng)有人認(rèn)為買高端服務(wù)器才可靠，后來(lái)Google首創(chuàng)利用低端的服務(wù)器，它認(rèn)為沒(méi)必要用高端，只要用低端服務(wù)器就夠了，而低端服務(wù)器可靠性不好，怎么辦呢?冗余配置。就是把一個(gè)數(shù)據(jù)拷到三個(gè)服務(wù)器里頭，三個(gè)低端服務(wù)器的價(jià)格仍然比一個(gè)高端的服務(wù)器便宜，這樣一來(lái)既提高可靠性又降低了成本。所以大數(shù)據(jù)的分析需要分布存儲(chǔ)和冗余備份。還有Map Reducers要通過(guò)映射、調(diào)度，最后把結(jié)果歸納起來(lái)得出我們要得結(jié)果。大數(shù)據(jù)跟過(guò)去的分析不一樣，過(guò)去的數(shù)據(jù)都是存下來(lái)，存到靜止的數(shù)據(jù)庫(kù)里頭，然后再分析。而大數(shù)據(jù)每時(shí)每刻都有，比如說(shuō)幾毫秒就要送一個(gè)數(shù)據(jù)出來(lái)，飛機(jī)引擎也是不斷的送數(shù)據(jù)出來(lái)，數(shù)據(jù)根本沒(méi)有停止的時(shí)候，我們不可能等數(shù)據(jù)停下來(lái)再來(lái)分析，我們必須一邊走一邊分析，怎么辦呢?過(guò)去的分析是靜止的，叫做“帶數(shù)據(jù)進(jìn)程序”，現(xiàn)在的分析是在活動(dòng)的，也就是“帶程序進(jìn)數(shù)據(jù)”。所以大數(shù)據(jù)分析也會(huì)帶來(lái)很大的挑戰(zhàn)。

另外，更難的挑戰(zhàn)是非結(jié)構(gòu)化的數(shù)據(jù)。所謂結(jié)構(gòu)化就是說(shuō)可以用文本表格等方式來(lái)表達(dá)，即便文本表格表達(dá)從語(yǔ)意理解還是比較難的。比如地震的時(shí)候，網(wǎng)絡(luò)上為了監(jiān)控輿情，看看究竟是正面的評(píng)論多還是負(fù)面的評(píng)論多，有一條信息說(shuō)“當(dāng)他發(fā)現(xiàn)他兒子還活著的時(shí)候，他抱頭痛哭。”按照分析，“痛哭”肯定是負(fù)面的。但實(shí)際上這是正面的。這是因?yàn)槭裁茨?/span>?要讓計(jì)算機(jī)懂得人的感情，這就難了。文字的分析況且這么難，那么對(duì)照片的分析就更難了，要通過(guò)OCR掃描出里面的文字，把文字作為標(biāo)簽加到照片上。照片還好說(shuō)一點(diǎn)，而視頻分析就更難了，你怎么找這個(gè)人?去年1月份周克華在南京殺了人，當(dāng)時(shí)攝像頭把他拍下來(lái)的，南京市調(diào)出幾十萬(wàn)個(gè)攝像頭視頻，拍多長(zhǎng)就要看多長(zhǎng)，沒(méi)有分析的辦法就靠人看，所以這是很慢的。因此大數(shù)據(jù)互換智能化的處理、智能化的分析。

另外，大數(shù)據(jù)需要虛擬化和可視化。舉個(gè)例子，上海江蘇路，路上有很多攝像頭，每個(gè)攝像頭背后連一個(gè)電視屏幕，在交通管理中心的一面墻上放了很多屏。當(dāng)然了，再大的墻壁也放不下全上海這么多交通攝像頭，所以只能10秒鐘顯示一條馬路的攝像頭，這些都是分離的，一個(gè)一個(gè)看很難看出問(wèn)題。我們希望通過(guò)軟件把這條馬路的攝像頭合成一個(gè)視頻，只要看這個(gè)視頻就知道全馬路攝像頭的狀況了。當(dāng)然只有一條馬路還不夠，我們還要把它合成全上海一幅圖，就像上海市領(lǐng)導(dǎo)坐著直升機(jī)俯視上海一樣，看到上海市整個(gè)城市里頭，在東京北緯某個(gè)緯度，在某個(gè)時(shí)刻段，哪段路交通堵塞。大數(shù)據(jù)，無(wú)論數(shù)據(jù)有多大，無(wú)論是PB還是TB，最重要結(jié)果都應(yīng)該非常直觀的一幅圖。

Gartner公司在發(fā)布2012-2016的IT發(fā)展趨勢(shì)，有五點(diǎn)：大數(shù)據(jù)、云存儲(chǔ)、移動(dòng)應(yīng)用、社交網(wǎng)絡(luò)、網(wǎng)絡(luò)安全。我們可以看到其中最主要的是大數(shù)據(jù)。大數(shù)據(jù)推動(dòng)ICT發(fā)展的時(shí)代，云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、下一代互聯(lián)網(wǎng)、大數(shù)據(jù)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)，我叫做“大智移云”，你可以看到這些新的信息技術(shù)適應(yīng)大數(shù)據(jù)新一代發(fā)展。

上一頁(yè) 1 2 3 4 5 6 下一頁(yè)

責(zé)任編輯：何健

免責(zé)聲明：本文僅代表作者個(gè)人觀點(diǎn)，與本站無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，請(qǐng)讀者僅作參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。

我要收藏

個(gè)贊