大數(shù)據(jù)時代,你該怎么分析數(shù)據(jù)?
大數(shù)據(jù)時代究竟意味著什么?更多數(shù)據(jù)——理論上,全部數(shù)據(jù)都可以納入收集、挖掘、分析和利用的范疇。正如牛津大學(xué)網(wǎng)絡(luò)學(xué)院互聯(lián)網(wǎng)研究所治理與監(jiān)管專業(yè)教授維克托·邁爾-舍恩伯格在其所著的《大數(shù)據(jù)時代》一書中指出的,“我們可以分析更多的數(shù)據(jù),有時候甚至可以處理和某個特別現(xiàn)象相關(guān)的所有數(shù)據(jù),而不再依賴于隨機采樣”。
《大數(shù)據(jù)時代》也指出,海量數(shù)據(jù)納入分析,必然意味著甄別、篩除,并由此帶來誤差和相對精確的結(jié)果。“誤差”和“相對精確”是什么意思呢?基于計算機和互聯(lián)網(wǎng)的系統(tǒng)服務(wù)、軟件服務(wù)仍不免出現(xiàn)出錯乃至面臨崩潰,比如,殺毒軟件會發(fā)生“錯殺”、“誤殺”,手機里的防騷擾軟件有時會對通訊錄里邊的已有號碼開展攔截,最可靠的電子郵箱仍不免將明明很安全的郵件驅(qū)逐到“垃圾郵箱”。
紐約大學(xué)統(tǒng)計系教授馮啟思(Kaiser Fung)在《數(shù)據(jù)統(tǒng)治世界》一書中,對大數(shù)據(jù)時代到來背景下,數(shù)據(jù)挖掘分析所需遵循的統(tǒng)計規(guī)律及其應(yīng)用進行了深入而頗具趣味的探討。馮啟思以反興奮劑組織為例,更深入的探討了誤差和相對精確問題。
對于反興奮劑組織而言,“假陰性”、“假陽性”或許是永遠無法避免的尷尬,前者指的是服用禁藥卻通過某種方式主動或檢測機構(gòu)的疏漏,而錯誤檢測為隱性,以類固醇檢測為例,每確認一個使用就要漏過十個“假陰性”;后者則指沒有服用過禁藥的無辜者,卻被藥檢為陽性。“假陽性”與正確的藥檢隱性的比例達到了1:899。藥檢檢測機構(gòu)面對的一個消長關(guān)系是:假陽性少了,假陰性就多了,反之亦然,即放寬檢測的某些指標,可以減少乃至防止無辜者被錯檢為假陽性的可能;收緊某些指標,就會減少服用禁藥者逃過處罰的比率,看上去,這是個均衡的風(fēng)險等式。實則不然,錯檢無辜者的假陽性事件,會給體育部門、反興奮劑組織帶來極大壓力,招致運動員工會、媒體和公眾的強烈抨擊;假陰性引起的批評就要少得多,因為沒有直接的、個人化的受害者。因此,檢測機構(gòu)會盡量避免假陽性發(fā)生,容忍“假陽性”的存在,寧可放過十個,也絕不冤枉一個。
在一些國家和地區(qū),刑事案件偵辦以及反恐機構(gòu)開展中運用到的測謊,則出現(xiàn)了反向偏向,造成大量的無辜者被認定為罪犯或恐怖主義組織成員,為其沒有犯下的罪行錯誤承擔責任。值得注意的是,無論是反興奮劑檢測,還是反恐檢查,都較早的體現(xiàn)了大數(shù)據(jù)海量采集數(shù)據(jù)的理念,應(yīng)用并不斷更新升級數(shù)據(jù)挖掘與分析的技術(shù),但仍不能避免假陽性和假陰性兩類誤差帶來的極大代價(經(jīng)濟代價和社會代價),甚至可能因錯誤檢測和冤案葬送公眾對反恐體系、司法體制的信心。很顯然,大數(shù)據(jù)時代在誤差不可避免的情況下,要在假陽性和假陰性兩類誤差之間取得某種平衡,讓誤差造成的社會總成本趨于最低,而這也才是相對精確的要義所在。
數(shù)據(jù)挖掘與分析,所對應(yīng)的是“統(tǒng)計式思維”。馮啟思在《數(shù)據(jù)統(tǒng)治世界》這本書中分別談及了平均數(shù)與差異性、隨機模型和相關(guān)模型、組別差異、精確與誤差、小概率等“統(tǒng)計式思維”涉及到的重要概念。歸結(jié)他的觀點,第一,數(shù)據(jù)分析要避免陷入平均化誤區(qū),要努力辨識發(fā)現(xiàn)數(shù)據(jù)差異性。舉例來說,百年一遇的災(zāi)害,并不能理解為在一百年內(nèi)每一年的災(zāi)害風(fēng)險只有1%,事實上很多保險公司在償付巨災(zāi)后的賠款時迅速滑向破產(chǎn),就源于對災(zāi)害風(fēng)險極端變異性和空間集中性的忽略。第二,要挖掘數(shù)據(jù)之間的相關(guān)性,而不能僅僅停留于因果性。第三,要善于建立標準對數(shù)據(jù)開展分類分組分析,也就是實現(xiàn)更趨精確的比較。第四,重視風(fēng)險,但要避免將過多資源投放到防止或爭取某些小概率事件發(fā)生之上。這些要點不僅是大數(shù)據(jù)時代值得重視和遵循的數(shù)據(jù)挖掘分析重要原則,而且也有助于人們更好、更為深入的認識社會復(fù)雜系統(tǒng),借助數(shù)據(jù)挖掘分析的力量改善工作與生活。
責任編輯:小沈
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設(shè)將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設(shè)下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設(shè)典型實踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進這個行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎(chǔ)設(shè)施,電力新基建 -
燃料電池汽車駛?cè)雽こ0傩占疫€要多久?
-
備戰(zhàn)全面電動化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權(quán)威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設(shè)計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設(shè)
2020-11-03新能源,汽車,產(chǎn)業(yè),設(shè)計 -
中國自主研制的“人造太陽”重力支撐設(shè)備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務(wù),新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市