文档章节

互联网情报系统实践-02:确定你的数据源的分布

吴亮弟
 吴亮弟
发布于 2017/02/17 09:01
字数 822
阅读 26
收藏 0

作者:吴亮弟
链接:https://zhuanlan.zhihu.com/p/24910432
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

浩瀚网络,信息海洋,如何找到你想要的数据是个大难题,而且也不是数据越多越好,而是要根据自己的需求,请准的确定所需的数据,然后定向寻找数据源,才能最大程度的提高效率。

本文以我自己的一个实际需求来做个演练,我的需求就是:收集国内新的商业领域/创业相关的动向,了解最近什么行业火,什么产品受关注等。再分解一下可以细化如下:新公司的投融资情况 ,新闻报道情况,新产品相关的资讯,行业相关的一些新闻动态,社交网络对相关公司,产品的讨论。这样一细分就大致圈定了数据源的网站类型范围,接下去我们就要做减法,从该范围内筛选出代表性的一些目标数据源网站即可。

上面的数据源细分,限定了我们数据源在网络上的宽度和深度,而从我们自身需求“商业动向”来看,这也是一个不可量化的东西,所以我们也要做减法,一般的做法就是限定一些关键字和数据的关联(根据已有数据计算关联的新的数据)范围。比如我们限定 3 个行业的关键字,10 家代表性公司以及其产品,以及限定 10 个相关行业,限定 100 家相关公司以及其产品,因为关联是可以无限加深,我们可以限定在 2 级或者 3 级,这一部分操作的更具体的内容,将在后续的文章完成。

根据我们对需求的细化,就可以进行数据源的分布梳理。可能的情况如下:

一、新公司的投融资情况

1. 36kr:公司报道,产品报道,投融资公司列表,投融资情况

2. IT桔子:创业公司,投融资情况

二、新闻资讯

1. 50家新闻网站

2. 百度新闻,360新闻:提供搜索入口

三、社交网络

1. 新浪微博:社交舆情

2. 知乎:行业讨论

以上就初步限定了目标网站,具体需要抓取哪些内容,建立哪些关联,将是后面的工作,而且一次需求也可以作为一个项目,数据源也可以迭代更新,在过程中发现新的合适的数据,也可以追加进来,而不合适的也可以剔除,这是通过后面设计的数据源管理模块实现。

要高效的完成数据源的分布确定,对用户要求比较高,需要对需求相关的网站比较了解,这一步骤可以联合一些行业人士以头脑风暴的方式完成。

下一篇,我们就针对这个需求进行数据维度的分析和拆解确定工作。

© 著作权归作者所有

吴亮弟
粉丝 0
博文 4
码字总数 3865
作品 0
技术主管
私信 提问
IBM 推出新 DNS 服务(9.9.9.9),谷歌(8.8.8.8)要哭了……

IBM 、Global Cyber Alliance 和 Packet Clearing House 合作推出了免费的 Quad9 公共 DNS 服务(9.9.9.9),它将会屏蔽与僵尸网络、钓鱼攻击和其它恶意主机相关联的域名。Quad9 的工作与其它...

周其
2017/11/21
11.4K
68
威胁猎人获600万元Pre-A+轮融资,以情报能力驱动业务安全

雷锋网(公众号:雷锋网)9月17日消息,威胁猎人宣布获真格基金资本的600万元PreA+轮融资。新一轮资金主要用于技术人才的建设和产品研发。 互联网的高速发展带来了场景爆炸,企业对业务安全的...

又田
2018/09/17
0
0
2016年第一季度全国物流行业网络安全报告

报告概述 安全值行业报告是基于威胁情报数据,利用大数据的分析方法对行业整体安全状态进行评价和分析,本次对全国76家物流行业进行数据采集,并进行安全评价和量化风险分析,包括业务安全、...

安全牛
2016/06/18
0
0
【资源共享】FSI2015 见闻分享

1、 FSI会议内容比较广泛,虽然主题是互联网金融安全,但其实和互联网金融关系不太大。内容覆盖很广:机场安全、云端数据存储安全、TEE(类似手机指纹存储)、威胁情报、密码…覆盖面非常多。...

cctianyong
2015/11/30
7
0
云时代如何实现企业IT智能诊断?|对话阿里云MVP蒋烁淼(下)

阿里云MVP、驻云科技CEO蒋烁淼4月11日做客《MVP时间》,为大家分析在云时代对于企业IT智能诊断的实践与探索。本篇为下期,上期文档直戳 4、 云时代企业IT智能诊断 传统情况下,客户通过监控的...

MVP时间 辰悠
04/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如何编写高质量的 JS 函数(1) -- 敲山震虎篇

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/7lCK9cHmunvYlbm7Xi7JxQ 作者:杨昆 一千个读者,有一千个哈姆雷特。 此系列文章将会从函数的执行机制、鲁棒性、函...

vivo互联网技术
34分钟前
4
0
学会这5个Excel技巧,让你拒绝加班

在网上,随处都可以看到Excel技巧,估计已看腻了吧?但下面5个Excel技巧会让你相见恨晚。关键的是它们个个还很实用 图一 技巧1:快速删除边框 有时当我们处理数据需要去掉边框,按Ctrl+Shif...

干货趣分享
今天
11
0
JS基础-该如何理解原型、原型链?

JS的原型、原型链一直是比较难理解的内容,不少初学者甚至有一定经验的老鸟都不一定能完全说清楚,更多的"很可能"是一知半解,而这部分内容又是JS的核心内容,想要技术进阶的话肯定不能对这个...

OBKoro1
今天
9
0
高防CDN的出现是为了解决网站的哪些问题?

高防CDN是为了更好的服务网络而出现的,是通过高防DNS来实现的。高防CDN是通过智能化的系统判断来路,再反馈给用户,可以减轻用户使用过程的复杂程度。通过智能DNS解析,能让网站访问者连接到...

云漫网络Ruan
今天
15
0
OSChina 周一乱弹 —— 熟悉的味道,难道这就是恋爱的感觉

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @xiaoshiyue :好久没分享歌了分享张碧晨的单曲《今后我与自己流浪》 《今后我与自己流浪》- 张碧晨 手机党少年们想听歌,请使劲儿戳(这里)...

小小编辑
今天
3.3K
25

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部