文档章节

Gecco框架典型案例—闲逛APP

xtuhcy
 xtuhcy
发布于 2016/05/31 10:02
字数 469
阅读 513
收藏 1

Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star,100+的fork。那么,Gecco这个新的爬虫框架在实际应用中的表现如何呢?为了让用户放心使用Gecco框架,Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实际应用的框架都是耍流氓。

闲逛应用抓取了京东、苏宁易购、天猫、什么值得买等10多个主流电商和导购平台,经过数据清洗和聚合实现了如下功能:

  • 【历史新低】实时获取电商价格动态,历史新低谁买谁赚
  • 【值得买】全网什么值得买信息全收录
  • 【9.9包邮】天猫9.9包邮实时更新
  • 【优惠券】收集全网优惠券信息

闲逛应用的爬虫部分主要使用了Gecco的核心和Gecco-Spring的扩展框架,由于规模还不大,并没有使用Gecco-Redis分布式爬虫,由于考虑到效率问题也没有使用Gecco-HtmlUnit扩展框架。下一步引入更多电商网站的抓取后将会使用Gecco-Redis扩展框架进行分布式抓取,以验证Gecco-Redis的可靠性。

闲逛应用的爬虫部分已经做了7*24小时的稳定性测试,今后,Gecco的升级都会先在闲逛应用上做好测试后再进行版本的发布。

APP目前只有Android客户端。可以通过点击这里下载,也能通过扫描下面的二维码进行下载,有兴趣的朋友可以安装使用。 闲逛

© 著作权归作者所有

xtuhcy

xtuhcy

粉丝 123
博文 18
码字总数 20733
作品 1
东城
后端工程师
私信 提问
加载中

评论(1)

苦思冥想
苦思冥想
看了gecco的源码结构清晰,值得一用,是否准备把这个闲逛的项目开源呢?😃
易用的轻量化的网络爬虫--GECCO

Gecco是什么 Gecco是一款用java语言开发的轻量化的易用的网络爬虫。Gecco整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等优秀框架,让您只需要配置一些jquery风格的选择器...

xtuhcy
2016/02/19
1.4W
22
Gecco 1.1.3 发布,易用的轻量化爬虫

Gecco 1.1.3 发布了,该版本改进内容包括: 处理jsonp的时候,分号问题修复 2.支持自定义下载重试次数定义,GeccoEngine.retry(count) 3.HttpClientDownloader支持response的Set Cookie自动存...

xtuhcy
2016/05/31
2.4K
9
Gecco 1.2.5 发布,易用的轻量化爬虫

Gecco 1.2.5 发布了,DynamicGecco 实现了爬虫规则的热部署,是首个支持动态加载的java爬虫框架。 更新内容: @Gecco注解支持多个matchUrl,一个spiderbean可以同时匹配多种形式的url jd地址...

xtuhcy
2016/11/03
2.5K
5
线下技术沙龙--APP即时通讯技术线下交流会

主题背景 掌握一个高度稳定可靠的即时通讯技术在实践上会遇到很多的坑点、难点。尤其是支持千万级用户的高并发技术,更需要长期深入的积累和实践的验证。 环信作为国内首家即时通讯云厂商,截...

Jack
2014/09/22
14
0
gecco 1.0.7 发布,轻量化网络爬虫

gecco 1.0.7 发布了。gecco是一种轻量化网络爬虫,同时也是一款拥有很好扩展性的框架。 主要特征: 1、简单易用,使用jquery的css selector风格抽取元素 2、支持页面中的异步ajax请求 3、支持...

xtuhcy
2016/03/21
3.3K
15

没有更多内容

加载失败,请刷新页面

加载更多

spring cloud 是什么,学习什么

一、什么是springcloud,有什么作用   Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、...

FH-Admin
30分钟前
51
0
【招聘】医疗行业

产品经理(1人) 【岗位职责】 1.方案策划:对互联网医疗信息化项目全流程负责,包括产品的需求、开发、推广、实施各个过程;跟踪国内外最新进展、发展趋势、竞争厂家研发信息、国家政策信息...

挨踢得要死要死的某瓜
32分钟前
321
0
「网易官方」极客战记(codecombat)攻略-地牢-Kithgard 学徒kithgard-apprentice

那么这就是年轻的食人魔巫师和术士来研究的地方? 默认代码 # 你的目标是生存。 # 也很有趣。 也许能嬴上排行榜! # 你第一次来地牢的时候,应该没见过这个房间。 概览 这是你测试技能战术的...

极客战记
37分钟前
49
0
TI AM570x浮点DSP C66x + ARM Cortex-A15开发板的CSI2 CAMERA接口、以太网接口

TL570x-EVM是一款由创龙基于SOM-TL570x核心板设计的开发板,它为用户提供了SOM-TL570x核心板的测试平台,用于快速评估SOM-TL570x核心板的整体性能。 TL570x-EVM底板采用沉金无铅工艺的4层板设...

Tronlong创龙
45分钟前
37
0
程序员必须掌握的核心算法有哪些?

由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程...

摩尔12
56分钟前
39
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部