CrawlScript的个人空间 - 开源中国社区

最新博客全部 (5)

"我要上 Google"1.1 版出炉，稳定上 GMAIL、Goo...

2014/06/15 发布

280 3

编程学习资料大全，值得收藏。JAVA、PHP、RUBY、...

2014/05/19 发布

67 0

精简导航——为程序员设计的上网导航,界面仿Fac...

2014/05/11 发布

59 0

CrawlScript 5个月前

更新了动态

即插即用 #WebCollector#

0 0 查看

CrawlScript 1年前 Android

回答了问题：死循环了，这是怎么回事，如图

过一两分钟肯定会自动停止的，估计你爬人家网站太频繁，都造成卡顿

@JCodeMan

@CrawlScript 你好，想跟你请教个问题：一直这样不停的循环，是怎么回事？有的时候运行很好，有时就会这样

2 查看原文

CrawlScript 1年前 Android

回答了问题：死循环了，这是怎么回事，如图

不是死循环，超过时间就会自动停止，失败的页面后续会自动爬取就。

@JCodeMan

@CrawlScript 你好，想跟你请教个问题：一直这样不停的循环，是怎么回事？有的时候运行很好，有时就会这样

2 查看原文

CrawlScript 1年前

在正文提取 getHtmlByCharsetDetect() gb2312 中文编码的时候生僻字或者繁体字乱码对回帖发表评论

@JCodeMan 一般是自己爬数据，调用正文提取时给html字符串，爬的数据自己设定编码就行

@CrawlScript

这个用的java自带的解码，后面我看看怎么解决

2 查看原文

CrawlScript 1年前

回答了问题：使用自定义http抓取页面后如何获取页面的绝对路径URL呢？

参考jsoup文档： http://www.open-open.com/jsoup/working-with-urls.htm

@liwz233

@CrawlScript 你好，想跟你请教个问题：比如在抓取百度百科时，种子URL使用的链接为baike.baidu.com/search/word?word=刘亦菲，最后jsoup解析页面获取的URL还是“baike.baidu.com/search/word?word=刘亦菲”，我...

1 查看原文

CrawlScript 1年前

回答了问题：正文提取 getHtmlByCharsetDetect() gb2312 中文编码的时候生僻字或者繁体字乱码

这个用的java自带的解码，后面我看看怎么解决

@JCodeMan

http://www.baizhan.net/zt/20120426/10039.html 生僻字或者繁体字乱码请问怎么解决？

3 查看原文

CrawlScript 1年前

回答了问题：正文提取算法的请教求大神指教

可以参考文章：网页抽取技术和算法算法原理参考10年之后Webpage Content Extraction相关论文。如果需要正确率较高的正文提取算法，可私聊购买商业版。

@SundyIT

@CrawlScript 你好，想跟你请教个问题：http://www.chinayyhg.com/index.asp 这个网站的新闻正文内容提取不了,请教下提取算法的原理,有个有道云剪切插件还是蛮准确的求指教正文提取算法的实现我...

3 查看原文

CrawlScript 1年前

添加了开源项目 DataHref

随着大数据技术的普及，对数据挖掘的需求在不断上升，本项目为一些常用的数据挖掘工具提供中文文档，并提供一部分数据挖掘算法的教程，仍在不断更新中。 mllib、scikit等数据挖掘工具的教程教程不断更新中... 数...

1 查看

CrawlScript 1年前

更新了动态

JAVA网络爬虫教程：http://datahref.com/book/

0 0 查看

CrawlScript 2年前

分享了一段代码 WebCollector下载图片

WebCollector下载图片

0 查看

我们不支持 IE 10 及以下版本浏览器

It appears you’re using an unsupported browser