文档章节

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

杨尚川
 杨尚川
发布于 2014/08/30 23:11
字数 1203
阅读 14806
收藏 98

网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。

 

搜 索引擎架构在ElasticSearch之上,是一个典型的分布式在线实时交互查询架构,无单点故障,高伸缩、高可用。对大量信息的索引与搜索都可以在近 乎实时的情况下完成,能够快速实时搜索数十亿的文件以及PB级的数据,同时提供了全方面的选项,可以对该引擎的几乎每个方面进行定制。支持RESTful 的API,可以使用JSON通过HTTP调用它的各种功能,包括搜索、分析与监控。此外,还为Java、PHP、Perl、Python以及Ruby等各 种语言提供了原生的客户端类库。

 

网络爬虫通过将抓取到的数据进行结构化提取之后提交给搜索引擎进行索引,以供查询分析使用。由于搜索引擎的设计目标在于近乎实时的复杂的交互式查询,所以搜索引擎并不保存索引网页的原始内容,因此,需要一个近乎实时的分布式数据库来存储网页的原始内容。

 

分布式数据库架构在Hbase+Hadoop之上,是一个典型的分布式在线实时随机读写架构。极强的水平伸缩性,支持数十亿的行和数百万的列,能够对网络爬虫提交的数据进行实时写入,并能配合搜索引擎,根据搜索结果实时获取数据。

 

网 络爬虫、分布式数据库、搜索引擎均运行在普通商业硬件构成的集群上。集群采用分布式架构,能扩展到成千上万台机器,具有容错机制,部分机器节点发生故障不 会造成数据丢失也不会导致计算任务失败。不但高可用,当节点发生故障时能迅速进行故障转移,而且高伸缩,只需要简单地增加机器就能水平线性伸缩、提升数据 存储容量和计算速度。

 

网络爬虫、分布式数据库、搜索引擎之间的关系:

 

1、网络爬虫将抓取到的HTML页面解析完成之后,把解析出的数据加入缓冲区队列,由其他两个线程负责处理数据,一个线程负责将数据保存到分布式数据库,一个线程负责将数据提交到搜索引擎进行索引。

 

2、搜索引擎处理用户的搜索条件,并将搜索结果返回给用户,如果用户查看网页快照,则从分布式数据库中获取网页的原始内容。

 

整体架构如下图所示:

 


 

爬虫集群、分布式数据库集群、搜索引擎集群在物理部署上,可以部署到同一个硬件集群上,也可以分开部署,形成1-3个硬件集群。

 

网络爬虫集群有一个专门的网络爬虫配置管理系统来负责爬虫的配置和管理,如下图所示:

 

 

搜 索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持,极大地提高了索引和搜 索的性能,极大地提高了水平扩展能力;副本技术为数据提供冗余,部分机器故障不影响系统的正常使用,保证了系统的持续高可用。

 

有2个分片和3份副本的索引结构如下所示:

 

 

 

 

一个完整的索引被切分为0和1两个独立部分,每一部分都有2个副本,即下面的灰色部分。

 

在 生产环境中,随着数据规模的增大,只需简单地增加硬件机器节点即可,搜索引擎会自动地调整分片数以适应硬件的增加,当部分节点退役的时候,搜索引擎也会自 动调整分片数以适应硬件的减少,同时可以根据硬件的可靠性水平及存储容量的变化随时更改副本数,这一切都是动态的,不需要重启集群,这也是高可用的重要保 障。

 

 


© 著作权归作者所有

共有 人打赏支持
杨尚川

杨尚川

粉丝 1093
博文 220
码字总数 1624053
作品 12
东城
架构师
加载中

评论(22)

杨尚川
杨尚川

引用来自“键盘侠客”的评论

我想做全文检索,对网页标题和内容进行检索,这样的话不是应该把标题和内容全部存储到es中吗?这样还存到hbase里一份都什么意义吗? 毕竟主要的内容都存到es中了?
你如果不把网页原始内容存一份到HBASE里面,那你在搜索结果页面中的快照功能咋实现呢?
键盘侠客
键盘侠客
我想做全文检索,对网页标题和内容进行检索,这样的话不是应该把标题和内容全部存储到es中吗?这样还存到hbase里一份都什么意义吗? 毕竟主要的内容都存到es中了?
杨尚川
杨尚川

引用来自“罗慢慢”的评论

既然Hbase和ES的数据是一样的,它们之间如何配合?

引用来自“杨尚川”的评论

HBase存储完整数据,可对单个网页进行随机读写操作;ES存储部分数据,可以对所有网页进行各种复杂条件的快速检索;ES的检索结果如果需要获取完整网页数据,则利用URL从HBase中读取。

引用来自“elvissss”的评论

请问,检索不是应该发生在获取到数据之后吗?
是的,爬虫“获取到数据”之后,将数据存储到HBASE并索引到ES。
elvissss
elvissss

引用来自“罗慢慢”的评论

既然Hbase和ES的数据是一样的,它们之间如何配合?

引用来自“杨尚川”的评论

HBase存储完整数据,可对单个网页进行随机读写操作;ES存储部分数据,可以对所有网页进行各种复杂条件的快速检索;ES的检索结果如果需要获取完整网页数据,则利用URL从HBase中读取。
请问,检索不是应该发生在获取到数据之后吗?
杨尚川
杨尚川

引用来自“罗慢慢”的评论

既然Hbase和ES的数据是一样的,它们之间如何配合?
HBase存储完整数据,可对单个网页进行随机读写操作;ES存储部分数据,可以对所有网页进行各种复杂条件的快速检索;ES的检索结果如果需要获取完整网页数据,则利用URL从HBase中读取。
罗慢慢
罗慢慢
既然Hbase和ES的数据是一样的,它们之间如何配合?
罗慢慢
罗慢慢
这个设计有实现不?
daixiaoyun3013
daixiaoyun3013
川哥就是牛!!
杨尚川
杨尚川

引用来自“鄂世嘉”的评论

请教一下这个开源项目叫什么名字?Google的结果都是您的这篇文章。
这个是一个方案,不是一个开源项目。
v1daddy
v1daddy

引用来自“PaulWong”的评论

怎么不用ELASTICSEARCH的HBASE RIVER?

引用来自“杨尚川”的评论

在解析完网页后,并行写入HBASE和ELASTICSEARCH
请问下博主 是怎么保证 HBASE和ELASTICSEARCH 数据同步的?
网络爬虫基础

网络爬虫 网络爬虫(Computer Robot)(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不...

白志华
2016/01/05
280
0
python爬虫(一)_爬虫原理和数据抓取

本篇将开始介绍Python原理,更多内容请参考:Python学习指南 为什么要做爬虫 著名的革命家、思想家、政治家、战略家、社会改革的主要领导人物马云曾经在2015年提到由IT转到DT,何谓DT,DT即数...

小七奇奇
2017/11/13
0
0
33款可用来抓数据的开源爬虫软件工具

要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫...

Airship
2015/11/09
0
1
网络爬虫 --goodcrawler

goodcrawler(GC) 网络爬虫 GC是一个垂直领域的爬虫,同时也是一个拆箱即用的搜索引擎。 GC基于httpclient、htmlunit、jsoup、elasticsearch。 GC的特点: 1、具有DSL特性的模板。 2、分布式、...

shenbaise
2013/07/12
7.5K
1
Python爬虫(1.爬虫的基本概念)

爬虫的基本概念 1. 网络爬虫的组成 网络爬虫由控制结点、爬虫结点、资源库构成,如图1 所示: 图1 网络爬虫的控制节点和爬虫节点结构的关系 可以看到,网络爬虫中可以有多个控制节点,每个控...

lhs322
04/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

初级开发-编程题

` public static void main(String[] args) { System.out.println(changeStrToUpperCase("user_name_abc")); System.out.println(changeStrToLowerCase(changeStrToUpperCase("user_name_abc......

小池仔
27分钟前
0
0
现场看路演了!

HiBlock
昨天
6
0
Rabbit MQ基本概念介绍

RabbitMQ介绍 • RabbitMQ是一个消息中间件,是一个很好用的消息队列框架。 • ConnectionFactory、Connection、Channel都是RabbitMQ对外提供的API中最基本的对象。Connection是RabbitMQ的s...

寰宇01
昨天
4
0
官方精简版Windows10:微软自己都看不过去了

微软宣布,该公司正在寻求解决方案,以减轻企业客户的Windows 10规模。该公司声称,企业客户下载整个Windows 10文件以更新设备既费钱又费时。 微软宣布,该公司正在寻求解决方案,以减轻企业...

linux-tao
昨天
4
0
TypeScript基础入门之JSX(二)

转发 TypeScript基础入门之JSX(二) 属性类型检查 键入检查属性的第一步是确定元素属性类型。 内在元素和基于价值的元素之间略有不同。 对于内部元素,它是JSX.IntrinsicElements上的属性类型...

durban
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部