淺談大數(shù)據(jù)下的企業(yè)安全管理平臺隨著信息技術的快速發(fā)展和廣泛應用，物聯(lián)網、大數(shù)據(jù)、云計算等新技術的出現(xiàn)，催生互聯(lián)網新產品和新模式不斷涌現(xiàn)。

以金融行業(yè)為例，網上銀行、網上交易、互聯(lián)網金融等新技術的產生，給人們帶來了極大便利的同時，也帶來了諸多安全問題。

一、簡介當前計算機網絡與信息安全領域，正面臨著一場全新的挑戰(zhàn)。

一方面，伴隨大數(shù)據(jù)和云計算時代的到來，安全問題正在變成一個大數(shù)據(jù)問題，企業(yè)和組織的網絡及信息系統(tǒng)每天都在產生大量的安全數(shù)據(jù)，并且產生的速度越來越快。

另一方面，國家、企業(yè)和組織所面對的網絡空間安全形勢嚴峻，需要應對的攻擊和威脅變得日益復雜，這些威脅具有隱蔽性強、潛伏期長、持續(xù)性強的特點。

面對這些新挑戰(zhàn)，傳統(tǒng)的企業(yè)安全管理平臺局限性顯露無遺，主要體現(xiàn)在以下幾個方面：1. 海量數(shù)據(jù)的處理企業(yè)安全管理平臺管理涉及企業(yè)網絡中的各種安全設備、網絡設備、應用系統(tǒng)等，每天會產生大量的安全事件和運行日志等安全數(shù)據(jù)，其數(shù)據(jù)量可能非常巨大。

面對海量的安全數(shù)據(jù)，安全管理人員很難從中發(fā)現(xiàn)有價值的信息;另一方面，面對海量數(shù)據(jù)時，傳統(tǒng)的企業(yè)安全管理平臺技術架構在數(shù)據(jù)采集、存儲、分析處理和展現(xiàn)方面也遭遇不同瓶頸。

2. 多源異構數(shù)據(jù)采集企業(yè)網絡中的各種安全設備、網絡設備、應用系統(tǒng)等均可能涉及不同種類不同廠家，由于各設備的產品差異性，企業(yè)安全管理平臺面對的安全數(shù)據(jù)在結構和格式上均不統(tǒng)一，給數(shù)據(jù)分析帶來困難。

這一問題造成企業(yè)安全管理平臺數(shù)據(jù)采集效率降低，從而導致性能上遇到瓶頸。

3. 安全數(shù)據(jù)分散和孤立企業(yè)網絡中的各種安全設備、網絡設備、應用系統(tǒng)等會分散在網絡的不同位置，如果各個數(shù)據(jù)之間缺乏有效的關聯(lián)，則會導致安全信息的孤立，形成信息孤島，無法對大量數(shù)據(jù)進行整體性的分析。

目前網絡中的攻擊行為一般都是分段式的攻擊方式，每個步驟都可能由不同的安全設備監(jiān)測發(fā)現(xiàn)并存在于不同日志當中，如果僅對單獨設備安全日志進行分析則難以發(fā)現(xiàn)完整攻擊行為。

為了提高安全數(shù)據(jù)分析的準確性，就需要通過基于大數(shù)據(jù)的事件關聯(lián)分析，找出多條報警之間的相關性，從中發(fā)現(xiàn)潛在的威脅行為或攻擊行為。

4. 缺乏深度挖掘手段當前網絡環(huán)境中新型攻擊手段層出不窮，與傳統(tǒng)攻擊手段不同，新型攻擊手段更加隱蔽，用傳統(tǒng)檢測方法更加難以發(fā)現(xiàn)，比如APT攻擊。

面對新型攻擊手段的長期性、隱蔽性和高級性，傳統(tǒng)的基于實時分析的監(jiān)控技術已經不再適應，為了防止新型攻擊手段造成的危害，有必要對歷史安全數(shù)據(jù)進行深層的離線挖掘，從大量的歷史數(shù)據(jù)之中發(fā)現(xiàn)新型攻擊行為的端倪，從而防患于未然。

以上問題，可以用一句話來總結，即海量、多源異構、分散獨立的安全數(shù)據(jù)，給傳統(tǒng)的企業(yè)安全管理平臺帶來了分析、存儲、檢索上的諸多難題。

由此看來，新一代企業(yè)安全管理平臺應該以大數(shù)據(jù)平臺架構為支撐，支持超大數(shù)據(jù)量的采集、融合、存儲、檢索、分析、態(tài)勢感知和可視化，將過去分散的安全信息進行集成與關聯(lián)，獨立的分析方法和工具進行整合形成交互，從而實現(xiàn)智能化的安全分析與決策，將機器學習、數(shù)據(jù)挖據(jù)等技術應用于安全分析，并且要更快更好地的進行安全決策。

大數(shù)據(jù)的發(fā)展給企業(yè)安全管理平臺帶來了新的挑戰(zhàn)，但是其催生出的大數(shù)據(jù)技術也給企業(yè)安全管理平臺帶來機遇和全新的活力。

二、何為大數(shù)據(jù)?大數(shù)據(jù)的通俗定義為“用現(xiàn)有的一般技術難以管理的大量數(shù)據(jù)的集合”，廣義定義為“一個綜合性概念，它包括因具備4V(海量/多樣/快速/價值，Volume/Variety/Velocity/Value)特征而難以進行管理的數(shù)據(jù)，對這些數(shù)據(jù)進行存儲、處理、分析的技術，以及能夠通過分析這些數(shù)據(jù)獲得實用意義和觀點的人才和組織。

”大數(shù)據(jù)具有四個重要特征(即4V特點)：Volume(海量)、Variety(多樣)、Velocity(快速)、Value(價值)。

Volume指的是數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具進行有效處理和分析，所以有必要變更傳統(tǒng)的數(shù)據(jù)處理和分析方法。

Variety指的是數(shù)據(jù)來源廣、形式多樣，包括結構化數(shù)據(jù)和非結構數(shù)據(jù)，非結構數(shù)據(jù)的增長速度比結構化數(shù)據(jù)的增長速度更快，并且具有十分可觀的利用價值，對其進行分析可以揭露出以前很難或無法確定的重要信息。

Velocity是指相對于傳統(tǒng)數(shù)據(jù)處理系統(tǒng)而言，大數(shù)據(jù)分析系統(tǒng)對實時性的要求更高，需要在很短的時間內完成計算，否則得出的結果將是過時的、無效的。

Value是指大數(shù)據(jù)是有價值的，但在海量數(shù)據(jù)當中，真正有價值有意義的只是很少一部分。

三、大數(shù)據(jù)在信息安全上的應用大數(shù)據(jù)在信息安全上的應用主要表現(xiàn)為，數(shù)據(jù)的爆炸性增長給目前的信息安全技術帶來了挑戰(zhàn)，傳統(tǒng)的信息安全技術在面對超大數(shù)據(jù)量時已經不再適宜，需要基于大數(shù)據(jù)環(huán)境的特點開發(fā)新一代安全技術。

目前流行的安全實踐主要是依賴于邊界防御，依賴于需要預定網絡威脅知識的靜態(tài)安全控制措施。

但是這種安全實踐在應對目前極度延伸的、基于云的、移動性極強的商業(yè)世界來說，已經不太適宜了。

基于這個背景，業(yè)界開始將信息安全的研究重點轉向智能驅動的信息安全模型，這是一種能夠感知風險的、基于上下文背景的、靈活的、能幫助企業(yè)抵御未知高級網絡威脅的模型。

而這種由大數(shù)據(jù)分析工具支持的、智能驅動的信息安全方法可以融合動態(tài)的風險評估、巨量安全數(shù)據(jù)的分析、自適應的控制措施以及有關網絡威脅和攻擊技術的信息共享。

其次，大數(shù)據(jù)理念可以被利用到信息安全技術中來，比如通過大數(shù)據(jù)分析可以對海量的網絡安全數(shù)據(jù)進行快速有效的關聯(lián)分析，從中找出與網絡安全相關的信息。

可以預測，將大數(shù)據(jù)集成至安全實踐，將會極大地增強對IT環(huán)境的可視性，提高鑒別正?；顒雍涂梢苫顒拥哪芰?，從而幫助確保IT系統(tǒng)的可信性，并大大提高安全事件響應能力。

四、大數(shù)據(jù)安全分析大數(shù)據(jù)安全分析，顧名思義，就是指利用大數(shù)據(jù)技術來進行安全分析。

借助大數(shù)據(jù)安全分析技術，能夠更好地解決海量安全數(shù)據(jù)的采集、存儲的問題，借助基于大數(shù)據(jù)分析技術的機器學習和數(shù)據(jù)挖據(jù)算法，能夠更加智能地洞悉信息與網絡安全的態(tài)勢，更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。

在網絡安全領域，大數(shù)據(jù)安全分析是企業(yè)安全管理平臺安全事件分析的核心技術，而大數(shù)據(jù)安全分析對安全數(shù)據(jù)處理效果主要依賴于分析方法。

但當應用到網絡安全領域的時候，還必須考慮到安全數(shù)據(jù)自身的特點和安全分析的目標，這樣大數(shù)據(jù)安全分析的應用才更有價值。

五、大數(shù)據(jù)分析在企業(yè)安全管理平臺上的應用目前應用于大數(shù)據(jù)分析的主流技術架構是Hadoop，業(yè)界在進行大數(shù)據(jù)分析時越來越重視它的作用。

Hadoop的HDFS技術和HBase技術與大數(shù)據(jù)的超大容量存儲需求正好匹配，Hadoop的MapReduce技術也能滿足大數(shù)據(jù)的快速實時分析需求。

基于前面介紹過的傳統(tǒng)企業(yè)安全管理平臺面對的挑戰(zhàn)和局限性問題，可以把Hadoop技術應用在企業(yè)安全管理平臺中，發(fā)展成為新一代的企業(yè)安全管理平臺，實現(xiàn)支持超大數(shù)據(jù)量的采集、融合、存儲、檢索、分析、態(tài)勢感知和可視化功能。

使用Hadoop架構的新一代企業(yè)安全管理平臺具有以下特點：

可擴展性：支持動態(tài)增加和刪除系統(tǒng)節(jié)點，集群搭建方式靈活可控。

高效性：以分布式文件系統(tǒng)進行存儲數(shù)據(jù)，支持海量數(shù)據(jù)的快速讀/寫、查詢操作;采用分布式計算進行數(shù)據(jù)分析與業(yè)務操作，各業(yè)務節(jié)點獨立計算互不干，節(jié)點數(shù)量越多運算速度越快。

可靠性：系統(tǒng)自動容災(HA);采用主-從機制(Master-Slave)進行集群搭建，系統(tǒng)內節(jié)點間數(shù)據(jù)互相實時備份，當節(jié)點宕機時直接切換至備份節(jié)點，運算單元宕機時直接切換至備份運算節(jié)點。

低成本：對系統(tǒng)中各節(jié)點設備硬件要求不高，而且Java技術開發(fā)可跨平臺，相關技術是開源的。

總之，與傳統(tǒng)架構的企業(yè)安全管理平臺相比，采用Hadoop的下一代企業(yè)安全管理平臺能大大提升數(shù)據(jù)分析的運算速度，降低運算代價，提高數(shù)據(jù)安全性，為用戶靈活提供各種分析引擎與分析手段。

六、總結綜上所述，可以看出借助大數(shù)據(jù)分析框架及大數(shù)據(jù)安全分析技術，能夠很好地解決傳統(tǒng)企業(yè)安全管理平臺的安全數(shù)據(jù)采集、分析、存儲、檢索問題。

從長遠來看，未來的企業(yè)安全管理平臺還應通過對基于大數(shù)據(jù)分析技術的機器學習、數(shù)據(jù)挖據(jù)算法、可視化分析及智能化分析等新技術的研究，完善企業(yè)安全管理平臺功能，使其能夠更加智能地分析網絡安全態(tài)勢，從而更加主動、彈性地去應對新型復雜的威脅和未知多變的風險。

但是，不論企業(yè)安全管理平臺的技術如何發(fā)展，如何與大數(shù)據(jù)結合，企業(yè)安全管理平臺所要解決的客戶根本性問題，以及與客戶業(yè)務融合的趨勢依然未變。

對大數(shù)據(jù)的應用依然要服務于解決客戶的實際安全管理問題這個根本目標。