文档章节

互联网情报系统实践-03确定你要搜集情报的维度

吴亮弟
 吴亮弟
发布于 2017/02/17 09:08
字数 1126
阅读 86
收藏 0

作者:吴亮弟
链接:https://zhuanlan.zhihu.com/p/25010531
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
 

当我们需求去收集情报的时候,需要先确定这次收集情报的目的是什么,为了方便工作的推进,我把每次的情报收集工作都归纳为一次案例 (Case) , 每个“案例” 包含一下方面的内容:

研究对象

研究对象就是我们这次案例收集情报的主体对象,比如“商业动向” 这个案例根据需要的数据可以细分两种研究对象:行业和公司。

基于互联网,我们通常使用关键字去收集数据,因此每一类研究对象都需要确定相关的关键字,比如使用“VR”,“头戴设备”,“VR视频”等为“VR行业”的关键字,使用公司名称和产品名称以及相关标签作为公司对象的关键字。

通过关键字检索,或者对数据源的过滤,我们得到了最终的网页内容(情报数据),但是需要对这个数据进行加工处理,获取到我们的数据模型所需的内容,才有价值,这些我们定义为数据维度。

比如行业的维度:新闻数量,新闻热度(浏览器,转载量,评论量),行业参与度(公司数量,论文数量,投资数量),用户参与度(微博相关数量,评论,社交讨论)等。

维度的确定是贯穿整个案例的执行过程中的,需要根据数据源的采集情况,模型的情况,以及评估结果的情况进行调整,是一个动态变化的过程。

数据源

确定了研究对象以及相关维度,我们就可以着手寻找数据源,方法很简单,使用常规数据源列表中的搜索功能,按照研究对象的关键字去搜索,根据搜索结果确定是否为数据源,依据可以是内容相关性,维度数据等。

数据源我一般为其分为两类:列表类,详情类。列表类表现为罗列出一些列表,可以根据列表得到其他的数据,详情类一般为一个信息的最终节点,可以在详情类中获取你所需要的维度信息。这里的数据源是广义的数据源,比如某某网站是数据源,某某API接口也是数据源,搜索引擎是列表类的,新闻网站既是列表类也是详情类的。

数据源的管理和维护工作量庞大,也需要一个过程,所以我们的系统搭建过程中,数据源管理模块也是必不可少的功能模块,对数据源按照分类,标签进行管理。

关联关系

关联关系是通过现有数据(关键字,信息),通过一些模型计算推演出的新的数据源,关键字,研究对象等信息。比如“相关关键字”,“相关网站”,“相关新闻”,“相关产品”等等。通常使用模型进行推演。因此需要大量的数据支持,在整个情报系统运转的过程中,关联关系的内容的产生应该也是自动化完成的,人工干预应该只在模型选择的业务逻辑层面。

时间维度

最后一个是时间维度,情报通常有时效性,而其大多的维度分析通常会和时间因素相关,所以时间维度的选取也是很重要,对时间的控制,一般为定义一个起始日期,以及各个数据源的更新周期,这样时间维度的定义就完成,剩下的工作需要系统其他模块自行完成,比如历史数据的权重数据,时间维度上各维度的呈现和使用等等。

这一个案例 (Case) 的第一步,而后面的步骤又和这一步紧密关联,所以 案例的管理需要通过系统完成,以便更高效的管理和决策。

以后的文章,将会简单的完成一个 ”案例管理“模块的需求分析和实现。

 

© 著作权归作者所有

吴亮弟
粉丝 0
博文 4
码字总数 3865
作品 0
技术主管
私信 提问
小议安全威胁情报

网络安全中的情报,可以将其分为安全情报(狭义)和威胁情报两个大类。对于具体用户来说,安全情报就是指自己有什么,自己能够防什么;威胁情报就是,对方有什么,攻击者能够实施什么。也即是...

外星人TAKI
2016/12/28
0
0
揭密美国情报社区的“安全互联网”

众所周知,互联网是黑客横行、木马行空的信息丛林,信息安全是制约互联网发展最大的瓶颈所在,但是美国情报社区网络却运行着独门的“安全互联网”技术… 随着智能手机、移动应用和社交网络的...

王萌
2013/11/05
0
0
聚焦网络威胁与情报落地,2018网络安全分析与情报大会揭幕在即

  2018年8月29日,2018网络安全分析与情报大会将在北京新云南皇冠假日酒店正式开幕,本次大会由国内威胁情报领军企业微步在线主办,十数位来自政府、央企、金融、互联网等一线公司的安全专...

FreeBuf
2018/07/31
0
0
2017年全国大数据时代情报分析研讨会

2017年全国大数据时代情报分析研讨会定于2017年4月6日至10日在江苏扬州举办,活动家提供在线报名通道。 大会内容 当今社会在信息技术的基础上已呈现出越来越明显的数据特征。如果说信息技术改...

活动家
2017/02/08
120
0
薛锋:我眼中的威胁情报三年之变

2015 年 6 月,有着光鲜打工履历的薛锋正式创业,成立了主打安全威胁情报分析的微步在线。 此前,他历任亚马逊中国首席安全官,微软中国互联网安全战略总监,是 Blackhat 欧洲安全大会和微软...

郭佳
2018/09/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部