文档章节

互联网情报系统实践-01:我所认为的情报系统

吴亮弟
 吴亮弟
发布于 2017/02/17 08:51
字数 1015
阅读 108
收藏 0

作者:吴亮弟

链接:https://zhuanlan.zhihu.com/p/24900305

来源:知乎

著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

输入图片说明

近期需要搭建数据中心,其中涉及到采集系统和数据分析系统的建设,借此机会把自己多年的对互联网的信息采集系统建设的一些想法整理一下,形成一次“互联网情报系统”的实践,借助各种开源系统,结合自己的需求,希望能行程一个准方案,能为大家所用。 这里有点标题党嫌疑,“互联网情报系统”,无非就是采集互联网的数据,经过清洗分析,得到自己想要的结果,或者得到的结果对自己有所用处,仅此而以。

既然需要建设互联网情报系统,那就要先定义这个情报系统,第一篇文章就以此为主题,同时也能罗列出整个系统的大纲了。

情报系统,关键字在情报两个字,我们需要收集情报,分析情报,并且利用情报带来的价值,而情报系统就是一个能满足以上基本需求的IT系统。而我们的主题又把信息源限定在了互联网。

所以简化的一套情报系统分为了以下几个模块/步骤:

以下每一步的工作量和涉及到的知识面都很大,本篇文章仅以自己的知识和经验去理解和分析,欢迎各位看官拍砖。

一、数据源查找/分析/管理

数据源的查找和分析在情报收集里面很重要,现在有人人都在谈大数据,但是很多情况下,绝大部分比例的数据都是垃圾数据,真正能为己所用的不多,所以准确的找到你所需的数据源,分析里面其中的数据,并且使用系统维护好这批数据源是数据采集之前的前置工作,这一部分会分为以下几篇(暂定)文章:

  1. 情报无处不在:确定你的数据源的分布

  2. 我要收集什么数据:确定你要搜集情报的维度

  3. 数据源定义和管理:简单的数据源维护系统

二、数据采集/清洗/入库

有了数据源,我们需要一套采集工具将所需的数据采集下来并保存到我们的数据库中,这一部分主要就围绕相关的IT系统展开,过程中将会利用一些开源系统编写简单的采集系统和数据清洗系统。

  1. 工欲善其事:寻找合适的采集系统

  2. 必先利其器:定制自己的采集系统

  3. 取其精华,去其糟粕:怎么样清洗数据

三、情报策略/分析/报告

信息大爆炸时代,获取信息的成本愈发增高,如何更准确的收集信息是本篇幅的重点之一,关键字如何选取,范围如何缩减,如果寻找关联关系等,同时我们将以开发一个以表格和图表展示系统的模块,更加直观的展示我们收集到的情报,在最后的内容,结合几个案例,探讨如何使用专业的分析工具分析我们的情报数据。

  1. 精挑细选:如何更有效的收集到有效的情报/信息

  2. 用数据说话:使用数据图表展示情报

  3. 知其所以然:使用专业分析工具分析情报

以上内容将在2017年陆续撰写,同时相应的系统也会开发,但是会滞后于文章,同时在系统开发过程中也可能会更新原有的文章,这些工作都将以业余时间为主,周期将会拉长。

© 著作权归作者所有

吴亮弟
粉丝 0
博文 4
码字总数 3865
作品 0
技术主管
私信 提问
威胁猎人获600万元Pre-A+轮融资,以情报能力驱动业务安全

雷锋网(公众号:雷锋网)9月17日消息,威胁猎人宣布获真格基金资本的600万元PreA+轮融资。新一轮资金主要用于技术人才的建设和产品研发。 互联网的高速发展带来了场景爆炸,企业对业务安全的...

又田
2018/09/17
0
0
揭密美国情报社区的“安全互联网”

众所周知,互联网是黑客横行、木马行空的信息丛林,信息安全是制约互联网发展最大的瓶颈所在,但是美国情报社区网络却运行着独门的“安全互联网”技术… 随着智能手机、移动应用和社交网络的...

王萌
2013/11/05
0
0
Threatbook合伙人李秋石:具有中国特色的安全威胁情报

在安全圈提起“威胁情报”,可谓无人不知无人不晓。什么是威胁情报?威胁情报是一种基于证据的知识,包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的、或者是即将出现针...

DBAplus
2015/12/01
0
0
聚焦网络威胁与情报落地,2018网络安全分析与情报大会揭幕在即

  2018年8月29日,2018网络安全分析与情报大会将在北京新云南皇冠假日酒店正式开幕,本次大会由国内威胁情报领军企业微步在线主办,十数位来自政府、央企、金融、互联网等一线公司的安全专...

FreeBuf
2018/07/31
0
0
精彩速览 2018威胁情报&APT攻击技术与趋势高峰论坛 (附PPT下载)

     编者按:情报是针对高级网络攻击的有力武器。      五月的最后一天,伴着淅淅沥沥的小雨,由国内知名互联网安全新媒体FreeBuf 主办的2018威胁情报&APT攻击技术与趋势高峰论坛在...

FreeBuf
2018/06/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

oracle ORA-39700: database must be opened with UPGRADE option

ORA-01092: ORACLE instance terminated. Disconnection forced ORA-00704: bootstrap process failure ORA-39700: database must be opened with UPGRADE option 进程 ID: 3650 会话 ID: 29......

Tank_shu
今天
2
0
分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
今天
4
0
聊聊DubboDefaultPropertiesEnvironmentPostProcessor

序 本文主要研究一下DubboDefaultPropertiesEnvironmentPostProcessor DubboDefaultPropertiesEnvironmentPostProcessor dubbo-spring-boot-project-2.7.3/dubbo-spring-boot-compatible/au......

go4it
昨天
2
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0
Spring boot 静态资源访问

0. 两个配置 spring.mvc.static-path-patternspring.resources.static-locations 1. application中需要先行的两个配置项 1.1 spring.mvc.static-path-pattern 这个配置项是告诉springboo......

moon888
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部