思科安全大數據分析框架：OpenSOC
思科在 BroCON 大會上亮相了其安全大數據分析架構 OpenSOC，引起了廣泛關注。OpenSOC 是一個針對網絡包和流的大數據分析框架，它是大數據分析與安全分析技術的結合, 能夠實時的檢測網絡異常情況并且可以擴展很多節點，它的存儲使用開源項目 Hadoop，實時索引使用開源項目 ElasticSearch，在線流分析使用著名的開源項目 Storm。OpenSOC 概念性體系架構如下圖所示:
OpenSOC 主要功能包括：
-
可擴展的接收器和分析器能夠監視任何Telemetry數據源
</li> -
是一個擴展性很強的框架，且支持各種Telemetry數據流
</li> -
支持對Telemetry數據流的異常檢測和基于規則實時告警
</li> -
通過預設時間使用Hadoop存儲Telemetry的數據流
</li> -
支持使用ElasticSearch實現自動化實時索引Telemetry數據流
</li> -
支持使用Hive利用SQL查詢存儲在Hadoop中的數據
</li> -
能夠兼容ODBC/JDBC和繼承已有的分析工具
</li> -
具有豐富的分析應用,且能夠集成已有的分析工具
</li> -
支持實時的Telemetry搜索和跨Telemetry的匹配
</li> -
支持自動生成報告、和異常報警
</li> -
支持原數據包的抓取、存儲、重組
</li> -
支持數據驅動的安全模型
</li> </ul>OpenSOC 官方文檔介紹了以下五大優點：
-
由思科全力支持，適用于內部多用戶
</li> -
免費、開源、基于Apache協議授權
</li> -
基于高可擴展平臺（Hadoop、Kafka、Storm）實現
</li> -
基于可擴展的插件式設計
</li> -
具有靈活的部署模式，可在企業內部部署或者云端部署
</li> -
具有集中化的管理流程、人員和數據
</li> </ul>當前，OpenSOC 運行條件包括：
-
兩個網卡（建議使用Napatech的NT20E2-CAP網卡）
</li> -
Apache Flume 1.4.0 版本及以上
</li> -
Apache Kafka 0.8.1 版本及以上
</li> -
Apache Storm 0.9 版本及以上
</li> -
Apache Hadoop 2.x 系列的任意版本
</li> -
Apache Hive 12 版本及以上（建議使用13版本）
</li> -
Apache Hbase 0.94 版本及以上
</li> -
ElasticSearch 1.1 版本及以上
</li> -
MySQL 5.6 版本及以上等。
</li> </ul> https://github.com/OpenSOC
-
-