加载中
BlackHole开发日记-多线程NIO和超时机制

今天尝试使用Selector改造转发逻辑,结果可耻的失败了!因为Selector不是线程安全的,试图多个线程进行register会导致严重的问题,这也是为什么基于事件的IO模型都不怎么支持多线程的原因,太...

2012/12/20 20:35
382
记webmagic一个多线程问题排查和修复的过程

在webmagic的多线程抓取中有一个比较麻烦的问题:当Scheduler拿不到url的时候,不能立即退出,需要等到没抓完的线程都运行完毕,没有新url产生时,才能退出。之前使用Thread.sleep来实现,当...

Netty那点事(四)Netty与Reactor模式

理清NIO与Netty的关系之前,我们必须先要来看看Reactor模式。Netty是一个典型的多线程的Reactor模式的使用,理解了这部分,在宏观上理解Netty的NIO及多线程部分就不会有什么困难了。...

2014/02/08 18:46
2.7W
BlackHole开发日记-尝试NIO和ehcache

今天上班的路上在对比Tomcat和Jety的连接模型。Tomcat使用多线程处理请求,一个请求一个线程;Jetty则采用NIO。有文章说,对于逻辑复杂、处理时间较长的连接,Tomcat有优势,但是对于处理时间...

2012/12/20 13:55
347
webmagic 0.4.0的特性

0.4.0已发布,新闻:http://www.oschina.net/news/45720/webmagic-0-4-0 webmagic 0.4.0将于本周内发布,新增特性: 大幅优化下载效率 升级HttpClient到4.3.1,重写了HttpClientDownloader的...

2013/11/04 07:42
1.9K
WebMagic的设计思想

1.1 WebMagic的设计思想 本文是WebMagic文档的一部分。系列文章写完后,会整合到WebMagic新版文档中。 1. 一个框架,一个领域 一个好的框架必然凝聚了领域知识。WebMagic的设计参考了业界最优...

2014/04/09 18:41
3.9K
webmagic新版文档(更新中)

WebMagic in Action WebMagic是一个简单灵活、便于二次开发的爬虫框架。除了可以便捷的实现一个爬虫,WebMagic还提供多线程功能,以及基本的分布式功能。 你可以直接使用WebMagic进行爬虫开发...

2014/01/15 14:41
1.3W
WebMagic-Avalon之分布式实现方案

WebMagic之前具有基本的分布式功能,可以将一个Spider部署到多台机器上,并通过Redis来管理URL,达到多机合作抓取的目标。 我在WebMagic-Avalon里计划完成一个管理后台,通过这个后台可以新建...

2014/03/12 18:12
8.3K
Netty那点事(一)概述

Netty和Mina是Java世界非常知名的通讯框架。它们都出自同一个作者,Mina诞生略早,属于Apache基金会,而Netty开始在Jboss名下,后来出来自立门户netty.io。关于Mina已有@FrankHui的Mina系列文...

2013/09/21 23:22
3.7W
Java里阻塞线程的三种实现方法

在日常开发中,我们有时会遇到遇到多线程处理任务的情况,JDK里提供了便利的ThreadPoolExecutor以及其包装的工具类Executors。但是我们知道ExecutorService.excute(Runnable r)是异步的,超过...

2013/03/18 18:55
4.1W
Qcon见闻整理

第一天 之前在并发编程网http://ifeve.com发过两篇关于netty的文章,就混进了编辑群,正好群主有两站Qcon上海的票,我又刚好在上海,就拿了一张票,请了天假,奔赴现场了。 <!--more--> 会议...

2013/11/01 21:12
484
webmagic的设计机制及原理-如何开发一个Java爬虫

此文章是webmagic 0.1.0版的设计手册,后续版本的入门及用户手册请看这里:https://github.com/code4craft/webmagic/blob/master/user-manual.md 之前就有网友在博客里留言,觉得webmagic的实...

webmagic使用手册

新版文档地址http://webmagic.io/docs/,此手册已不再更新。

2013/12/01 20:54
6.7W

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部