文档章节

HtmlExtractor 1.1 发布,网页信息抽取组件

杨尚川
 杨尚川
发布于 2015/04/15 23:09
字数 239
阅读 293
收藏 0

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。


HtmlExtractor为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。


在本次发布的1.1版本中,对API做了更合理的重构,并给出了详细的使用方法,除了抽取组件,还加入了网页抓取组件,能执行JS,支持动态渲染的页面等。


HtmlExtractor项目主页

 

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
HtmlExtractor 1.1 发布,网页信息抽取组件

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分...

杨尚川
2015/04/15
1K
15
如何使用HtmlExtractor实现基于模板的网页结构化信息精准抽取?

首先,我们新建一个maven工程,在pom.xml中加入HtmlExtractor依赖,如下所示: <dependency> <groupId>org.apdplat</groupId> <artifactId>html-extractor</artifactId> <version>1.1</vers......

杨尚川
2015/04/15
1K
3
Java实现的基于模板的网页结构化信息精准抽取组件:HtmlExtractor

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。 HtmlExtractor是为大规模分...

杨尚川
2014/08/30
1K
3
如何使用Eclipse在Github上开发使用Java8的Maven项目?

1、我们使用的版本是Eclipse4.4.2 for JavaEE Web Developers,支持Java8,安装的JDK需要1.8: 2、我们先点击菜单中的File -> Import...,然后选择Git -> Projects from Git,从Git数据源导入...

杨尚川
2015/04/18
2.6K
3
htmlextractor抽取问题

@杨尚川 你好,想跟你请教个问题: 在使用htmlextractor时,遇到含有img图片元素或者QQ表情图片的时候,会造成抽取中断或者抽取失败,是什么原因?如何解决呢?

codersea
2015/04/15
89
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
今天
6
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
今天
9
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
今天
5
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
今天
7
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
7
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部