如何評估大數(shù)據(jù)安全分析產(chǎn)品？五大要素必不可少！如何評估大數(shù)據(jù)安全分析產(chǎn)品網(wǎng)絡(luò)犯罪以及其他惡意行為的不斷增加正促使企業(yè)部署更多的安全控制、收集越來越多的相關(guān)數(shù)據(jù)。

結(jié)果，大數(shù)據(jù)分析方面的進展被用于以更寬和更深的分析為目的的安全監(jiān)控中，以保護昂貴的企業(yè)資源。

大數(shù)據(jù)安全分析技術(shù)融合了大數(shù)據(jù)的可擴展性，并將其與Advanced Analytic和安全事件管理系統(tǒng)（ security event and incident management systems，SIEM）結(jié)合起來。

在不久的將來，大數(shù)據(jù)安全分析將會變成像病毒檢測和漏洞掃描一樣常見。

因此，大數(shù)據(jù)安全分析適用于很多用例，但也不是所有的用例都適用。

考慮一下探測和阻擋高持續(xù)性威脅（Advanced Persistent Threat，APT）的技術(shù)挑戰(zhàn)。

采用這些技術(shù)的攻擊者或許會采用慢節(jié)奏的、低可見性的攻擊方式來避免以避免被探測到。

傳統(tǒng)的日志和監(jiān)控技術(shù)會漏過這種類型的攻擊。

攻擊的各步可能發(fā)生在不同的設(shè)備的不同時間段，而且看起來是毫無關(guān)聯(lián)的。

這樣，一個攻擊者殺招的關(guān)鍵部分可能與正常行為差別不大。

針對可疑行為的日志和網(wǎng)絡(luò)流掃描有時也會漏掉這些東西。

避免遺漏數(shù)據(jù)的一種方法就是收集盡可能多的信息。

這就是大數(shù)據(jù)安全分析平臺所采用的方法。

正如字面意思所言，該安全分析的方法利用了專門為收集、分析和管理大規(guī)模、高速度數(shù)據(jù)而設(shè)計的工具。

這些技術(shù)也同樣用于相關(guān)產(chǎn)品，如針對流視頻用戶的電影推薦系統(tǒng)和為優(yōu)化車隊的運輸效率而設(shè)計的車輛性能特性分析平臺等。

此外，這些技術(shù)還可以應(yīng)用于信息安全。

本文重點分析Cybereason、Fortscale、Hawkeye、IBM、LogRhythm、RSA和Splunk等若干大數(shù)據(jù)安全工具供應(yīng)商的最主要的產(chǎn)品特性。

其分析主要依據(jù)實現(xiàn)這些平臺所有好處的五大必需要素：?統(tǒng)一的數(shù)據(jù)管理?支持日志、漏洞和流等多種數(shù)據(jù)類型?可擴展的數(shù)據(jù)獲取?信息安全相關(guān)的分析工具?合規(guī)報告

因素1：統(tǒng)一的數(shù)據(jù)管理統(tǒng)一的數(shù)據(jù)管理是一個大數(shù)據(jù)安全分析系統(tǒng)的基礎(chǔ)，負責存儲和查詢企業(yè)數(shù)據(jù)。

由于關(guān)聯(lián)數(shù)據(jù)庫在擴展時比分布式NoSQL數(shù)據(jù)庫代價要高，處理大規(guī)模數(shù)據(jù)通常會使用Cassandra或Accumulo等這樣的分布式數(shù)據(jù)庫。

當然，這些數(shù)據(jù)庫也其缺點。

例如，實現(xiàn)ACID transaction等這些理所當然存在的數(shù)據(jù)庫特征的分布式版本就變得非常困難。

因此，大數(shù)據(jù)安全分析產(chǎn)品背后的數(shù)據(jù)管理平臺需要在數(shù)據(jù)管理特性和代價、可擴展性之間進行權(quán)衡。

數(shù)據(jù)庫應(yīng)該具備在不阻塞的情況下實時寫入新數(shù)據(jù)的能力。

相似的，查詢也要能夠支持針對流入的安全數(shù)據(jù)的實時分析。

由于Hadoop已經(jīng)成為流行的大數(shù)據(jù)管理平臺和相關(guān)的生態(tài)系統(tǒng)，采用它作基礎(chǔ)的大數(shù)據(jù)安全分析平臺也很常見。

例如，F(xiàn)ortscale就使用了Cloudera的Hadoop平臺。

這使得Fortscale平臺可以隨著集群中新加入節(jié)點的數(shù)量而線性擴展。

IBM的QRadar使用了提供數(shù)據(jù)存儲水平擴展功能的分布式數(shù)據(jù)管理系統(tǒng)。

在一些情況下，SIEM或許只需要訪問本地數(shù)據(jù)。

但是，在取證分析等情況下，用戶或許需要跨分布式平臺搜索信息。

IBM的QRadar還集成了一個能夠跨平臺或本地檢索的搜索引擎。

同時，該大數(shù)據(jù)SIEM系統(tǒng)使用的是數(shù)據(jù)節(jié)點，而非存儲域網(wǎng)（SAN）。

這可以幫組減少花費和管理復(fù)雜度。

這個基于數(shù)據(jù)節(jié)點的分布式存儲模型可以擴展到P字節(jié)的存儲空間——可以很好滿足那些需要很多大規(guī)模長期存儲的組織的需求。

RSA安全分析也采用了分布式的聯(lián)合架構(gòu)來保證線性擴展。

當擴展到大規(guī)模數(shù)據(jù)時，RSA工具中的分析工作流解決了一個關(guān)鍵需求：區(qū)分事件和任務(wù)的優(yōu)先級，以改善分析的效率。

Hawkeye分析平臺（Hawkeye AP）是基于一個專門處理安全事件數(shù)據(jù)的數(shù)據(jù)倉庫平臺構(gòu)建而成。

除了擁有底層、可擴展的數(shù)據(jù)管理（例如，在跨多個服務(wù)器的鍍鉻文件中存儲大規(guī)模數(shù)據(jù)的能力）功能，擁有以結(jié)構(gòu)化的方式查詢數(shù)據(jù)的工具也很關(guān)鍵。

Hawkeye AP采用了分時存儲數(shù)據(jù)的方式，避免了全局重建索引的工作。

而且，它被設(shè)計為了只讀的數(shù)據(jù)庫。

一方面，它使能了性能優(yōu)化；另一個更重要方面，它可以保證數(shù)據(jù)在寫完成后不會被篡改。

最后，Hawkeye AP采用了專門針對分析應(yīng)用有所優(yōu)化的列導(dǎo)向數(shù)據(jù)存儲，而非行導(dǎo)向的存儲。

因素2：支持多種數(shù)據(jù)類型容量、速度和種類是大數(shù)據(jù)的三個關(guān)鍵特性。

安全事件數(shù)據(jù)的多樣性使得把數(shù)據(jù)集成到一個大數(shù)據(jù)安全分析產(chǎn)品變得富有挑戰(zhàn)性。

事件數(shù)據(jù)的收集粒度是不同的。

例如，網(wǎng)絡(luò)報文就是底層、細粒度的數(shù)據(jù)；而有關(guān)任何管理員密碼變化的日志項就是粗粒度的。

盡管數(shù)據(jù)的收集粒度不同，他們之間仍然是有關(guān)聯(lián)的。

網(wǎng)絡(luò)報文就可能包含了攻擊者訪問服務(wù)器，甚至在取得訪問權(quán)限后修改管理員密碼的相關(guān)信息。

不同類型的事件數(shù)據(jù)的含義也各不相同。

網(wǎng)絡(luò)報文信息可以幫助分析人員了解兩個終端之間傳輸?shù)膬?nèi)容，而一份漏斗掃描日志在某種意義上描述了服務(wù)器或其他設(shè)備在一段時間內(nèi)的運行狀態(tài)。

大數(shù)據(jù)安全分析平臺需要理解這些數(shù)據(jù)類型的含義，以更好的進行數(shù)據(jù)集成。

RSA Security Analytics的解決辦法是采用一個模塊化的結(jié)構(gòu)，以此保證在維持增量添加其他源的能力的同時，支持多種數(shù)據(jù)類型。

平臺本身是為了捕獲大規(guī)模的滿報文、NetFlow數(shù)據(jù)、末端數(shù)據(jù)和日志。

有時，多個數(shù)據(jù)類型就意味著多種安全工具。

例如，IBM的QRadar就有一個漏洞管理組件。

該組件專門負責從各種各樣的漏洞掃描器中整合數(shù)據(jù)，并把網(wǎng)絡(luò)使用相關(guān)的信息添加到數(shù)據(jù)中。

IBM的Security QRadar Incident Forensics是另外一個專門利用網(wǎng)絡(luò)流數(shù)據(jù)和full-packet抓包來分析安全事故的模塊。

該取證工具包括了一個能夠?qū)B級別的網(wǎng)絡(luò)數(shù)據(jù)進行檢索的引擎。

LogRhythm的Security Intelpgence Platform是另外一個大數(shù)據(jù)安全分析平臺的例子。

該平臺支持非常多的數(shù)據(jù)類型，包括系統(tǒng)日志、安全事件、審計日志、機器數(shù)據(jù)、應(yīng)用日志以及流數(shù)據(jù)。

通過分析來自這些源的原始數(shù)據(jù)，它可以產(chǎn)生有關(guān)文件完整性、進程活躍度、網(wǎng)絡(luò)通信情況、用戶以及活動的二級數(shù)據(jù)。

Splunk Enterprise Security允許分析人員檢索數(shù)據(jù)并執(zhí)行可視化關(guān)聯(lián)，以此識別惡意事件和收集有關(guān)這些事件上下文的數(shù)據(jù)。

因素3：可擴展的數(shù)據(jù)獲取大數(shù)據(jù)分析安全產(chǎn)品必須要能夠從服務(wù)器、終端、網(wǎng)絡(luò)和其他架構(gòu)組件中獲得數(shù)據(jù)。

這些設(shè)備的狀態(tài)是一直都在發(fā)生變化的。

數(shù)據(jù)獲取組件的主要風(fēng)險在于它是否能夠及時接收流入的數(shù)據(jù)。

一旦數(shù)據(jù)獲取組件出現(xiàn)問題，數(shù)據(jù)就會丟失，威脅到整個平臺的存在意義。

系統(tǒng)可以通過維護一個容量很大、吞吐率很高的隊列來實現(xiàn)可擴展的數(shù)據(jù)獲取。

此外，一些數(shù)據(jù)庫通過對寫操作只追加的方法來支持大規(guī)模寫。

這樣，新流入的數(shù)據(jù)直接添加到commit日志的末尾，而非磁盤的某個塊。

該方法可以大大減少隨機寫操作的延遲。

或者，數(shù)據(jù)管理系統(tǒng)會維護一個寫緩沖區(qū)。

如果消息出現(xiàn)突發(fā)傳輸或者磁盤出現(xiàn)寫失效，緩沖區(qū)可以幫助暫時存儲數(shù)據(jù)，等待數(shù)據(jù)庫恢復(fù)正常。

Splunk是一個廣為人知的數(shù)據(jù)獲取平臺。

該平臺不僅提供了連接到數(shù)據(jù)源的連接器，還允許定制這些連接器。

其中，獲取后的數(shù)據(jù)以比較松散的形式進行存儲和索引，以保證支持變化的數(shù)據(jù)類型和快速的查詢反饋。

IBM QRadar支持從單設(shè)備到跨地域的分布式系統(tǒng)的不同規(guī)模的部署。

與其他產(chǎn)品類似，該大數(shù)據(jù)產(chǎn)品是為了滿足大公司的需求。

它曾被用于處理每秒鐘幾十萬的真實應(yīng)用事件。

一些小的機構(gòu)或剛開始使用IBM QRadar的企業(yè)或許會選擇在云環(huán)境中部署該產(chǎn)品，以減少硬件開銷和管理。

混合部署也是可以的。

這樣，事件和流或許在云端處理，而整理后的事件數(shù)據(jù)發(fā)送會本地系統(tǒng)進行處理。

另外一個重要的整合類型就是數(shù)據(jù)增強。

它是指在收集事件數(shù)據(jù)的同時，把相關(guān)的信息也一并添加進去。

例如，RSA Security Analytics就會把有關(guān)網(wǎng)絡(luò)回話、威脅指示器等細節(jié)添加到網(wǎng)絡(luò)數(shù)據(jù)中，幫助分析人員更好的理解底層安全數(shù)據(jù)所面臨的情況。

一個大數(shù)據(jù)分析平臺如何收集收據(jù)是另外一個要考慮的關(guān)鍵點。

收集數(shù)據(jù)所需要的時間使得探測安全事件的速度可以有所放緩。

數(shù)據(jù)收集點的位置決定了它所收集的數(shù)據(jù)的寬度和類型。

例如，Cybereason Platform部署的傳感器就運行在終端操作系統(tǒng)的用戶空間。

這樣，數(shù)據(jù)收集就可以在影響用戶體驗和更底層內(nèi)核功能的情況下進行。

即使是在設(shè)備無法連接企業(yè)網(wǎng)絡(luò)時，Cybereason的傳感器仍然可以收集數(shù)據(jù)。

因素4：安全分析工具Hadoop和Spark等大數(shù)據(jù)平臺都是通用型的工具。

盡管它們可以被用于構(gòu)建安全工具，它們本身并不是安全分析工具。

大數(shù)據(jù)安全分析工具應(yīng)該能夠擴展，以滿足企業(yè)所產(chǎn)生的大規(guī)模數(shù)據(jù)的分析需求。

而Hadoop和Spark等這樣的工具正好滿足了這樣的條件。

同時，分析人員也應(yīng)該能夠以信息安全的角度所應(yīng)該取得的抽象層次來查詢事件數(shù)據(jù)。

例如，一個分析人員應(yīng)該能夠查詢工作在特定服務(wù)器或應(yīng)用的用戶的聯(lián)系以及這些機器/應(yīng)用之間的聯(lián)系。

這種類型的查詢就需要圖型分析工具，而非傳統(tǒng)的關(guān)聯(lián)數(shù)據(jù)庫中的行查詢或列查詢。

Fortscale采用了數(shù)據(jù)科學(xué)中常見的機器學(xué)習(xí)和統(tǒng)計分析技術(shù)，以適應(yīng)安全環(huán)境中的變化。

這些技術(shù)使得Fortscale可以執(zhí)行基于數(shù)據(jù)而非預(yù)定義規(guī)則的分析。

當網(wǎng)絡(luò)中的基準行為發(fā)生變化時，機器學(xué)習(xí)算法可以在沒有人為更新規(guī)則集的情況下自動探測到這些變化。

RSA Security Analytics包括了預(yù)定義的報告和規(guī)則，使得分析人員可以很快開始使用SIEM收集到的數(shù)據(jù)。

安全分析也同樣非常依賴惡意行為相關(guān)的知識。

RSA Security Analytics包括的RSA Live服務(wù)負責將數(shù)據(jù)處理和關(guān)聯(lián)規(guī)則發(fā)送到部署的設(shè)備中。

這些新的規(guī)則可被用于分析剛到達的實時數(shù)據(jù)和存儲在RSA Security Analytics系統(tǒng)的歷史數(shù)據(jù)。

與Fortscale類似，RSA Security Analytics也采用了數(shù)據(jù)科學(xué)的相關(guān)技術(shù)來增強分析的質(zhì)量。

此外，LogRhythm的分析工作流包括了處理、機器分析和取證分析三個階段。

處理階段負責數(shù)據(jù)轉(zhuǎn)換，提高原始數(shù)據(jù)被有用的模式探測到的可能性。

它包括了事件標準化、數(shù)據(jù)分類、metadata標記和風(fēng)險上下文分析。

因素5：合規(guī)報告、警告和監(jiān)控合規(guī)報告是當今企業(yè)所必須要具備的功能。

很多用于合規(guī)目的的數(shù)據(jù)元素都和最好的安全實踐綁定在一起。

甚至對于那些對合規(guī)報告沒有硬性需求的公司而言，合規(guī)報告也可以很好的用于內(nèi)部規(guī)劃。

。

了解一個大數(shù)據(jù)安全平臺的報告制度滿足了企業(yè)對于合規(guī)方面的特殊需求，是非常重要的。

IBMSecurity QRadar的Risk Manager插件提供了網(wǎng)絡(luò)設(shè)備配置的合規(guī)及風(fēng)險管理的工具。

該插件的功能包括自動監(jiān)控、多供應(yīng)商產(chǎn)品審計的支持、合規(guī)策略評估以及威脅建模。

就像之前所提到的，F(xiàn)ortscale使用機器學(xué)習(xí)算法來不斷評估基準活動的變化和探測異常事件。

當系統(tǒng)探測到這些事件時，它可以生成警告，并提供事件的相關(guān)信息。

為了節(jié)約終端用戶的時間，RSA Security Analytics本身就帶有近90種模板，以滿足SOX、HIPAA、PCI DSS等的報告需求。

SIEM系統(tǒng)中的報告和警告遠遠超過了固定報告和簡單警告的形式。

例如，Cybereason Platform就可以自動探測惡意活動。

該平臺還提供了一個調(diào)查窗口，用來將攻擊時間線、受影響的用戶和設(shè)備等信息匯總并以圖形的方式展示出來。

Splunk Enterprise Security提供了包含關(guān)鍵安全和性能指針以及趨勢指針的儀表盤，以進行不間斷的監(jiān)控。

而且該平臺還支持工作流的優(yōu)先級。

Splunk平臺還支持高優(yōu)先級用戶的追蹤和關(guān)鍵應(yīng)用程序的訪問報告。

Hawkeye AP本身包含了400種報告，而且支持根據(jù)特殊需求進行修改。

由于Hawkeye AP使用關(guān)聯(lián)數(shù)據(jù)技術(shù)，并支持ANSI Standard SQL、ODBC和JDBC驅(qū)動，用戶可以可以使用流行的企業(yè)級報告工具來創(chuàng)建定制化的報告。

LogRhythm的平臺包括了分級后的風(fēng)險的警告、標準報告和一個實時的報告儀表盤。

而且，它還包括了案例管理工具、證據(jù)鎖以及事件追蹤數(shù)據(jù)等額外工具用于取證分析。

大數(shù)據(jù)安全分析工具的功能：大數(shù)據(jù)安全分析工具可以分析很多種的數(shù)據(jù)類型，也可以處理大規(guī)模的數(shù)據(jù)。

當然，并非所有的機構(gòu)都需要用到當前大數(shù)據(jù)安全分析產(chǎn)品的所有功能。

但是，正在尋找保護企業(yè)數(shù)據(jù)安全工具的機構(gòu)應(yīng)該考慮大數(shù)據(jù)安全分析工具所能扮演的角色。

對于大企業(yè)和需要存儲詳細的事件數(shù)據(jù)的企業(yè)，IBM QRadar是一個不錯的選擇。

該平臺能夠擴展到P字節(jié)規(guī)模的能力將會是一個很大的亮點。

Hawkeye的數(shù)據(jù)倉庫模型和列導(dǎo)向存儲使得它能夠針對信息安全進行商業(yè)智能的報告。

這樣，當企業(yè)需要高級報告或者定制化的報告時，Hawkeye AP就是一個很好的選擇。

而當企業(yè)需要在設(shè)備離線的情況下繼續(xù)捕獲事件數(shù)據(jù)時，它可以考慮Cybereason。

此外，RSA Security Analytics和LogRhythm's Security Intelpgence Platform可以很好的配合來處理很多數(shù)據(jù)類型的情況。

Splunk提供了大量的數(shù)據(jù)源連接器，可以很好滿足擁有大量數(shù)據(jù)源的企業(yè)的需求。

大數(shù)據(jù)安全分析目前主要被大企業(yè)所采用。

但是，隨著相關(guān)工具的花費和復(fù)雜度不斷降低，中等規(guī)模的企業(yè)、甚至小企業(yè)最后也肯定會意識到該技術(shù)的好處。