文档章节

大数据安全分析“ 架构 ”

灵玖lingjoin
 灵玖lingjoin
发布于 2014/07/24 17:31
字数 1130
阅读 6
收藏 0

       根据ESG研究公司表示,44%的大型企业(即拥有超过1000名员工的企业)认为其安全数据收集和分析是“大数据”应用,而另外44%认为其安全数据收集和分析将会在未来2年内成为“大数据”应用。此外,86%的企业正在收集比两年前“更多”或“略多”的安全数据。


  这种增长趋势非常明显,大型企业正在收集、处理和保存越来越多的数据用于分析,他们使用来自IBM、Lancope、LogRhythm、Raytheon、RSA Security和Splunk等供应商的工具和服务从数据中获取可操作情报用于风险管理和事故预防/检测/响应。


  最近,笔者与安全专家以及供应商围绕大数据安全分析进行了很多探讨,这些讨论往往专注于分析应用程序方面。有时候这些讨论会围绕于安全分析基础设施,例如Hadoop、HDFS、Pig和Mahout,有时候则围绕UI、可视化分析、应用程序整合等。


  每个人都对大数据安全分析应用程序感兴趣,但几乎没有人会问大数据安全分析所需要的IT基础设施基础。其结果是,很多企业会受到打击,他们甚至无法收集他们想要分析的安全数据。


  收集和处理千兆或兆兆字节的安全数据需要对大数据安全分析管道进行一些规划和部署,包括如下:


  · 数据包捕捉设备。这些设备包括来自Cavium、Emulex和Solarflare等供应商的高性能智能NIC卡,磁盘驱动器,以及来自Wireshark等供应商的PCAP软件,它们整合在一起作为数据包捕捉设备。这些设备需要足够快以捕捉和处理数据包,用于分析引擎的分类。PCAP硬件设备将出现在整个网络的关键连接点,而虚拟PCAP设备能够支持服务器虚拟化和云计算[注]平台。


  · 分析分布网络。数据包捕捉设备收集和处理数据,但数据仍然需要接近实时地在多个分析引擎移动。这正是分析分布网络的工作,这种系统包括来自Anue、Apcon、BitTap、Gigamon、Netscout和Riverbed等供应商的设备。在某些情况下,分析分布网络将补充数据包捕捉设备,在其他情况下,分析分布网络将提供轻量级PCAP功能。(请注意,用来描述这个的行业术语是“网络数据包代理设备”,但笔者认为这太以设备为中心,所以换了名称。)


  · SDN。SDN可编程控制平面很可能会成为穷人的分析分布网络,但SDN不会很快就抢占分配网络设备的地位。SDN将会成为分析基础设施的一部分,补充PCAP和分析分布网络功能。SDN和分析分布网络整合给网络数据捕捉和分析引擎带来了强大的连接性。


  · 分析中间件。在很多情况下,每个分析工具收集、处理和路由其自己的数据。虽然这是可行的,但这带来了很大的冗余性、资本成本和运营开销。这里需要的是某种类型的基于标准的中间件,以进行消息队列或发布和订阅。例如,RSA Security公司使用开源RabiitMQ作为其分析引擎之间的中间件。


  从架构的角度来看,企业可以采用分层的方法来部署大数据安全分析,其中分析引擎从管道中抽象出来,但可以很容易地用来定制化安全数据收集、处理和分布。这能让首席信息官[注]、首席信息安全官和网络工程师来调整期基础设施、流程和分析引擎,满足其具体的企业和行业要求,以及管理资本和运营成本。


  这里有一个很明确的教训:你不能通过简单地连接每个分析引擎到span端口来收集、处理和路由安全数据。为了避免这种情况,首席信息官、首席信息安全官和网络工程师需要通过适当的管道为大数据安全分析调整其计划。

© 著作权归作者所有

灵玖lingjoin
粉丝 85
博文 2884
码字总数 4069557
作品 0
东城
私信 提问
从概念到架构——详细解析态势感知系统

2018年,全球知名的社交平台Facebook一年出现两次大型数据泄露事件,总泄露客户信息高达到7900万条。而安德玛、万豪集团、华住集团等也相继有媒体爆出严重的信息泄露事件。但上述事件仅仅是网...

京东云技术新知
07/05
17
0
大数据分析系统软件国家工程实验室研究成果将于云栖公布

去年 8 月,《国家发展改革委办公厅关于请组织申报大数据领域创新能力建设专项的通知》下发,明确将围绕大数据基础技术和应用技术两个维度,组建 13 个国家级大数据实验室。包括大数据系统计...

大大大大风车
2017/09/27
84
0
《焦点访谈》说网络安全,还有哪些你不知道的安全焦点?

4月19日,央视《焦点访谈》栏目用一整期的时间,报道播出了“如何让网更能、更强、更安”。这也从另一个角度反映出,网络安全已经不仅仅是信息产业的“焦点”,更成为当前整个社会的“焦点”...

玄学酱
2018/04/12
0
0
大数据环境下的网络安全挑战分析

  大数据架构和平台算是新事物,而且还在以一种非凡的速度不断发展着。商业和开源的开发团队几乎每月都在发布其平台的新功能。当今的大数据集群将会与将来我们看到的数据集群有极大不同。适...

TechTarget中国
2013/07/31
0
0
金秋十月畅聊云安全 | "UCan下午茶"与你相约深圳

2017年,以AI、大数据驱动的积极防御逐渐成为主流,并开始在国内落地实践。其中,深度学习、数据分析、自动识别被公认为云安全领域的三大利器,而实时数据检测亦成为云安全决策的重要支撑。 ...

UCloudTech
2017/10/16
19
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
12
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
8
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
11
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部