一小时爬千万数据的新浪微博爬虫

摘要:分享一个新浪微博的爬虫,基于 Scrapy + MongoDB 实现,号称一小时可爬千万条数据。 代码请移步GitHub:SinaSpider 爬虫功能: 此项目和QQ空间爬虫类似,主要爬取新浪微博用户的个人信...

九茶
2018/01/04
0
0
GunnyZeng/OAuth2

#文档说明 这是基于OAuth2,用java封装了qq、新浪微博、微信的第三方登录的接口 进一步交流请加QQ群:386233861 #架构 com.shamrock.oauth.api.entity =>第三方登录后用户信息实体 com.sham...

GunnyZeng
2016/11/29
0
0
新浪微博数据解析与java操作Hbase实例

之前发过一篇开发新浪微博的文章,对于大家比较感兴趣的内容之一便是如何解析新浪微博的JSON。 其实一开始的时候,也遇过一些挫折,比如直接用JsonArray和JsonObject去解析JSON内容的话,是解...

yunpiao
2014/12/09
1.4K
0
EGL 开发 Web 2.0 程序

应用场景介绍 新浪微博作为现在国内最流行的网站社交类应用,它提供了丰富的 API,能让第三方调用写出功能丰富的应用程序。新浪微博提供了 13 类,共计上百个应用程序接口,包括微博接口,评...

IBMdW
2012/05/13
2.3K
3
dota玩家与英雄契合度的计算器,python语言scrapy爬虫的使用

首发:个人博客,更新&纠错&回复 演示地址在这里,代码在这里。 一个dota玩家与英雄契合度的计算器(查看效果),包括两部分代码: 1.python的scrapy爬虫,总体思路是page->model->result,从...

祁达方
2015/12/01
109
0

没有更多内容

加载失败,请刷新页面

加载更多