大數(shù)據(jù)環(huán)境下的網(wǎng)絡(luò)安全挑戰(zhàn)分析
大數(shù)據(jù)架構(gòu)和平臺算是新事物,而且還在以一種非凡的速度不斷發(fā)展著。商業(yè)和開源的開發(fā)團(tuán)隊(duì)幾乎每月都在發(fā)布其平臺的新功能。當(dāng)今的大數(shù)據(jù)集群將會與將來我們看到的數(shù)據(jù)集群有極大不同。
大數(shù)據(jù)架構(gòu)和平臺算是新事物,而且還在以一種非凡的速度不斷發(fā)展著。商業(yè)和開源的開發(fā)團(tuán)隊(duì)幾乎每月都在發(fā)布其平臺的新功能。當(dāng)今的大數(shù)據(jù)集群將會與將來我們看到的數(shù)據(jù)集群有極大不同。適應(yīng)這種新困難的安全工具也將發(fā)生變化。在采用大數(shù)據(jù)的生命周期中,業(yè)界仍處于早期階段,但公司越早開始應(yīng)對大數(shù)據(jù)的安全問題,任務(wù)就越容易。如果安全成為大數(shù)據(jù)集群發(fā)展過程中的一種重要需求,集群就不容易被黑客破壞。此外,公司也能夠避免把不成熟的安全功能放在關(guān)鍵的生產(chǎn)環(huán)境中。
“大數(shù)據(jù)”一詞常被誤解。事實(shí)上,使用頻率太高反而使它幾乎沒有什么意義了。大數(shù)據(jù)確實(shí)存儲并處理大量的數(shù)據(jù)集合,但其特性體現(xiàn)遠(yuǎn)不止于此。
在著手解決大數(shù)據(jù)問題時,將其看作是一種觀念而不是特定的規(guī)模或技術(shù)非常有益。就其最簡單的表現(xiàn)來說,大數(shù)據(jù)現(xiàn)象由三個大趨勢的交集所推動:包含寶貴信息的大量數(shù)據(jù)、廉價(jià)的計(jì)算資源、幾乎免費(fèi)的分析工具。
如今,有很多特別重視不同數(shù)據(jù)類型(例如,地理位置數(shù)據(jù))的大數(shù)據(jù)管理系統(tǒng)。這些系統(tǒng)使用多種不同的查詢模式、不同的數(shù)據(jù)存儲模式、不同的任務(wù)管理和協(xié)調(diào)、不同的資源管理工具。雖然大數(shù)據(jù)常被描述為“反關(guān)系型”的,但這個概念還無法抓住大數(shù)據(jù)的本質(zhì)。為了避免性能問題,大數(shù)據(jù)確實(shí)拋棄了許多關(guān)系型數(shù)據(jù)庫的核心功能,卻也沒犯什么錯誤:有些大數(shù)據(jù)環(huán)境提供關(guān)系型結(jié)構(gòu)、業(yè)務(wù)連續(xù)性和結(jié)構(gòu)化查詢處理。
由于傳統(tǒng)的定義無法抓住大數(shù)據(jù)的本質(zhì),我們不妨根據(jù)組成大數(shù)據(jù)環(huán)境的關(guān)鍵要素思考一下大數(shù)據(jù)。這些關(guān)鍵要素使用了許多分布式的數(shù)據(jù)存儲和管理節(jié)點(diǎn)。這些要素存儲多個數(shù)據(jù)副本,在多個節(jié)點(diǎn)之間將數(shù)據(jù)變成“碎片”。這意味著在單一節(jié)點(diǎn)發(fā)生故障時,數(shù)據(jù)查詢將會轉(zhuǎn)向處理資源可用的數(shù)據(jù)。正是這種能夠彼此協(xié)作的分布式數(shù)據(jù)節(jié)點(diǎn)集群,可以解決數(shù)據(jù)管理和數(shù)據(jù)查詢問題,才使得大數(shù)據(jù)如此不同。
規(guī)模、實(shí)時性和分布式處理:大數(shù)據(jù)的本質(zhì)特征(使大數(shù)據(jù)解決超過以前數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)管理和處理需求,例如,在容量、實(shí)時性、分布式架構(gòu)和并行處理等方面)使得保障這些系統(tǒng)的安全更為困難。大數(shù)據(jù)集群具有開放性和自我組織性,并可以使用戶與多個數(shù)據(jù)節(jié)點(diǎn)同時通信。驗(yàn)證哪些數(shù)據(jù)節(jié)點(diǎn)和哪些客戶應(yīng)當(dāng)訪問信息是很困難的。別忘了,大數(shù)據(jù)的本質(zhì)屬性意味著新節(jié)點(diǎn)自動連接到集群中,共享數(shù)據(jù)和查詢結(jié)果,解決客戶任務(wù)。
嵌入式安全:在涉及大數(shù)據(jù)的瘋狂競賽中,大部分的開發(fā)資源都用于改善大數(shù)據(jù)的可升級、易用性和分析功能上。只有很少的功能用于增加安全功能。但是,你希望得到嵌入到大數(shù)據(jù)平臺中的安全功能。你希望開發(fā)人員在設(shè)計(jì)和部署階段能夠支持所需要的功能。你希望安全功能就像大數(shù)據(jù)集群一樣可升級、高性能、自組織。問題是,開源系統(tǒng)或多數(shù)商業(yè)系統(tǒng)一般都不包括安全產(chǎn)品。而且許多安全產(chǎn)品無法嵌入到Hadoop或其它的非關(guān)系型數(shù)據(jù)庫中。多數(shù)系統(tǒng)提供最少的安全功能,但不足以包括所有的常見威脅。在很大程度上,你需要自己構(gòu)建安全策略。
應(yīng)用程序:面向大數(shù)據(jù)集群的大多數(shù)應(yīng)用都是Web應(yīng)用。它們利用基于Web的技術(shù)和無狀態(tài)的基于REST的API。雖然全面討論大數(shù)據(jù)安全的這個問題超出了本文的范圍,但基于Web的應(yīng)用程序和API給這些大數(shù)據(jù)集群帶來了一種最重大的威脅。在遭受攻擊或破壞后,它們可以提供對大數(shù)據(jù)集群中所存儲數(shù)據(jù)的無限制訪問。應(yīng)用程序安全、用戶訪問管理及授權(quán)控制非常重要,與重點(diǎn)保障大數(shù)據(jù)集群安全的安全措施一樣都不可或缺。
數(shù)據(jù)安全:存儲在大數(shù)據(jù)集群中的數(shù)據(jù)基本上都保存在文件中。每一個客戶端應(yīng)用都可以維持其自己的包含數(shù)據(jù)的設(shè)計(jì),但這種數(shù)據(jù)是存儲在大量節(jié)點(diǎn)上的。存儲在集群中的數(shù)據(jù)易于遭受正常文件容易感染的所有威脅,因而需要對這些文件進(jìn)行保護(hù),避免遭受非法的查看和復(fù)制。
“大數(shù)據(jù)”一詞常被誤解。事實(shí)上,使用頻率太高反而使它幾乎沒有什么意義了。大數(shù)據(jù)確實(shí)存儲并處理大量的數(shù)據(jù)集合,但其特性體現(xiàn)遠(yuǎn)不止于此。
在著手解決大數(shù)據(jù)問題時,將其看作是一種觀念而不是特定的規(guī)模或技術(shù)非常有益。就其最簡單的表現(xiàn)來說,大數(shù)據(jù)現(xiàn)象由三個大趨勢的交集所推動:包含寶貴信息的大量數(shù)據(jù)、廉價(jià)的計(jì)算資源、幾乎免費(fèi)的分析工具。
如今,有很多特別重視不同數(shù)據(jù)類型(例如,地理位置數(shù)據(jù))的大數(shù)據(jù)管理系統(tǒng)。這些系統(tǒng)使用多種不同的查詢模式、不同的數(shù)據(jù)存儲模式、不同的任務(wù)管理和協(xié)調(diào)、不同的資源管理工具。雖然大數(shù)據(jù)常被描述為“反關(guān)系型”的,但這個概念還無法抓住大數(shù)據(jù)的本質(zhì)。為了避免性能問題,大數(shù)據(jù)確實(shí)拋棄了許多關(guān)系型數(shù)據(jù)庫的核心功能,卻也沒犯什么錯誤:有些大數(shù)據(jù)環(huán)境提供關(guān)系型結(jié)構(gòu)、業(yè)務(wù)連續(xù)性和結(jié)構(gòu)化查詢處理。
由于傳統(tǒng)的定義無法抓住大數(shù)據(jù)的本質(zhì),我們不妨根據(jù)組成大數(shù)據(jù)環(huán)境的關(guān)鍵要素思考一下大數(shù)據(jù)。這些關(guān)鍵要素使用了許多分布式的數(shù)據(jù)存儲和管理節(jié)點(diǎn)。這些要素存儲多個數(shù)據(jù)副本,在多個節(jié)點(diǎn)之間將數(shù)據(jù)變成“碎片”。這意味著在單一節(jié)點(diǎn)發(fā)生故障時,數(shù)據(jù)查詢將會轉(zhuǎn)向處理資源可用的數(shù)據(jù)。正是這種能夠彼此協(xié)作的分布式數(shù)據(jù)節(jié)點(diǎn)集群,可以解決數(shù)據(jù)管理和數(shù)據(jù)查詢問題,才使得大數(shù)據(jù)如此不同。
上圖顯示的是一個Hadoop文件系統(tǒng)的架構(gòu)圖,顯示出數(shù)據(jù)節(jié)點(diǎn)和客戶端如何交互。
節(jié)點(diǎn)的松散聯(lián)系帶來了許多性能優(yōu)勢,但也帶來了獨(dú)特的安全挑戰(zhàn)。大數(shù)據(jù)數(shù)據(jù)庫并不使用集中化的“圍墻花園”模式(與“完全開放”的互聯(lián)網(wǎng)相對而言,它指的是一個控制用戶對網(wǎng)頁內(nèi)容或相關(guān)服務(wù)進(jìn)行訪問的環(huán)境),內(nèi)部的數(shù)據(jù)庫并不隱藏自己而使其它應(yīng)用程序無法訪問。在這兒沒有“內(nèi)部的”概念,而大數(shù)據(jù)并不依賴數(shù)據(jù)訪問的集中點(diǎn)。大數(shù)據(jù)將其架構(gòu)暴露給使用它的應(yīng)用程序,而客戶端在操作過程中與許多不同的節(jié)點(diǎn)進(jìn)行通信。
規(guī)模、實(shí)時性和分布式處理:大數(shù)據(jù)的本質(zhì)特征(使大數(shù)據(jù)解決超過以前數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)管理和處理需求,例如,在容量、實(shí)時性、分布式架構(gòu)和并行處理等方面)使得保障這些系統(tǒng)的安全更為困難。大數(shù)據(jù)集群具有開放性和自我組織性,并可以使用戶與多個數(shù)據(jù)節(jié)點(diǎn)同時通信。驗(yàn)證哪些數(shù)據(jù)節(jié)點(diǎn)和哪些客戶應(yīng)當(dāng)訪問信息是很困難的。別忘了,大數(shù)據(jù)的本質(zhì)屬性意味著新節(jié)點(diǎn)自動連接到集群中,共享數(shù)據(jù)和查詢結(jié)果,解決客戶任務(wù)。
嵌入式安全:在涉及大數(shù)據(jù)的瘋狂競賽中,大部分的開發(fā)資源都用于改善大數(shù)據(jù)的可升級、易用性和分析功能上。只有很少的功能用于增加安全功能。但是,你希望得到嵌入到大數(shù)據(jù)平臺中的安全功能。你希望開發(fā)人員在設(shè)計(jì)和部署階段能夠支持所需要的功能。你希望安全功能就像大數(shù)據(jù)集群一樣可升級、高性能、自組織。問題是,開源系統(tǒng)或多數(shù)商業(yè)系統(tǒng)一般都不包括安全產(chǎn)品。而且許多安全產(chǎn)品無法嵌入到Hadoop或其它的非關(guān)系型數(shù)據(jù)庫中。多數(shù)系統(tǒng)提供最少的安全功能,但不足以包括所有的常見威脅。在很大程度上,你需要自己構(gòu)建安全策略。
應(yīng)用程序:面向大數(shù)據(jù)集群的大多數(shù)應(yīng)用都是Web應(yīng)用。它們利用基于Web的技術(shù)和無狀態(tài)的基于REST的API。雖然全面討論大數(shù)據(jù)安全的這個問題超出了本文的范圍,但基于Web的應(yīng)用程序和API給這些大數(shù)據(jù)集群帶來了一種最重大的威脅。在遭受攻擊或破壞后,它們可以提供對大數(shù)據(jù)集群中所存儲數(shù)據(jù)的無限制訪問。應(yīng)用程序安全、用戶訪問管理及授權(quán)控制非常重要,與重點(diǎn)保障大數(shù)據(jù)集群安全的安全措施一樣都不可或缺。
數(shù)據(jù)安全:存儲在大數(shù)據(jù)集群中的數(shù)據(jù)基本上都保存在文件中。每一個客戶端應(yīng)用都可以維持其自己的包含數(shù)據(jù)的設(shè)計(jì),但這種數(shù)據(jù)是存儲在大量節(jié)點(diǎn)上的。存儲在集群中的數(shù)據(jù)易于遭受正常文件容易感染的所有威脅,因而需要對這些文件進(jìn)行保護(hù),避免遭受非法的查看和復(fù)制。
責(zé)任編輯:和碩涵
免責(zé)聲明:本文僅代表作者個人觀點(diǎn),與本站無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。
我要收藏
個贊
-
發(fā)電電力輔助服務(wù)營銷決策模型
2019-06-24電力輔助服務(wù)營銷 -
電力線路安全工作的組織措施和技術(shù)措施分別是什么?
-
兩會保電進(jìn)行時丨陜西電力部署6項(xiàng)重點(diǎn)任務(wù)
-
電力線路安全工作的組織措施和技術(shù)措施分別是什么?
-
兩會保電進(jìn)行時丨陜西電力部署6項(xiàng)重點(diǎn)任務(wù)
-
山東特高壓首次完成帶電消缺 確保電力安全穩(wěn)定迎峰度冬
-
發(fā)電電力輔助服務(wù)營銷決策模型
2019-06-24電力輔助服務(wù)營銷 -
繞過安卓SSL驗(yàn)證證書的四種方式
-
網(wǎng)絡(luò)何以可能
2017-02-24網(wǎng)絡(luò)
-
Windows 10首發(fā) 四大安全提升
-
超級安卓漏洞 “寄生獸”影響數(shù)千萬手機(jī)應(yīng)用
-
航空公司首出現(xiàn)操作系統(tǒng)被黑
2015-06-23航空公司
-
“企業(yè)應(yīng)急響應(yīng)和反滲透”之真實(shí)案例分析
-
攜程恢復(fù)正常 安全,我們準(zhǔn)備好了嗎?
2015-05-29攜程 -
一張圖讀懂《2014年消費(fèi)者個人信息網(wǎng)絡(luò)安全報(bào)告》