文档章节

基于Nutch+Hadoop+Hbase+ElasticSearch的网络爬虫及搜索引擎

杨尚川
 杨尚川
发布于 2014/08/30 23:11
字数 1203
阅读 14990
收藏 98

网络爬虫架构在Nutch+Hadoop之上,是一个典型的分布式离线批量处理架构,有非常优异的吞吐量和抓取性能并提供了大量的配置定制选项。由于网络爬虫只负责网络资源的抓取,所以,需要一个分布式搜索引擎,用来对网络爬虫抓取到的网络资源进行实时的索引和搜索。

 

搜 索引擎架构在ElasticSearch之上,是一个典型的分布式在线实时交互查询架构,无单点故障,高伸缩、高可用。对大量信息的索引与搜索都可以在近 乎实时的情况下完成,能够快速实时搜索数十亿的文件以及PB级的数据,同时提供了全方面的选项,可以对该引擎的几乎每个方面进行定制。支持RESTful 的API,可以使用JSON通过HTTP调用它的各种功能,包括搜索、分析与监控。此外,还为Java、PHP、Perl、Python以及Ruby等各 种语言提供了原生的客户端类库。

 

网络爬虫通过将抓取到的数据进行结构化提取之后提交给搜索引擎进行索引,以供查询分析使用。由于搜索引擎的设计目标在于近乎实时的复杂的交互式查询,所以搜索引擎并不保存索引网页的原始内容,因此,需要一个近乎实时的分布式数据库来存储网页的原始内容。

 

分布式数据库架构在Hbase+Hadoop之上,是一个典型的分布式在线实时随机读写架构。极强的水平伸缩性,支持数十亿的行和数百万的列,能够对网络爬虫提交的数据进行实时写入,并能配合搜索引擎,根据搜索结果实时获取数据。

 

网 络爬虫、分布式数据库、搜索引擎均运行在普通商业硬件构成的集群上。集群采用分布式架构,能扩展到成千上万台机器,具有容错机制,部分机器节点发生故障不 会造成数据丢失也不会导致计算任务失败。不但高可用,当节点发生故障时能迅速进行故障转移,而且高伸缩,只需要简单地增加机器就能水平线性伸缩、提升数据 存储容量和计算速度。

 

网络爬虫、分布式数据库、搜索引擎之间的关系:

 

1、网络爬虫将抓取到的HTML页面解析完成之后,把解析出的数据加入缓冲区队列,由其他两个线程负责处理数据,一个线程负责将数据保存到分布式数据库,一个线程负责将数据提交到搜索引擎进行索引。

 

2、搜索引擎处理用户的搜索条件,并将搜索结果返回给用户,如果用户查看网页快照,则从分布式数据库中获取网页的原始内容。

 

整体架构如下图所示:

 


 

爬虫集群、分布式数据库集群、搜索引擎集群在物理部署上,可以部署到同一个硬件集群上,也可以分开部署,形成1-3个硬件集群。

 

网络爬虫集群有一个专门的网络爬虫配置管理系统来负责爬虫的配置和管理,如下图所示:

 

 

搜 索引擎通过分片(shard)和副本(replica)实现了高性能、高伸缩和高可用。分片技术为大规模并行索引和搜索提供了支持,极大地提高了索引和搜 索的性能,极大地提高了水平扩展能力;副本技术为数据提供冗余,部分机器故障不影响系统的正常使用,保证了系统的持续高可用。

 

有2个分片和3份副本的索引结构如下所示:

 

 

 

 

一个完整的索引被切分为0和1两个独立部分,每一部分都有2个副本,即下面的灰色部分。

 

在 生产环境中,随着数据规模的增大,只需简单地增加硬件机器节点即可,搜索引擎会自动地调整分片数以适应硬件的增加,当部分节点退役的时候,搜索引擎也会自 动调整分片数以适应硬件的减少,同时可以根据硬件的可靠性水平及存储容量的变化随时更改副本数,这一切都是动态的,不需要重启集群,这也是高可用的重要保 障。

 

 


© 著作权归作者所有

杨尚川

杨尚川

粉丝 1101
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
加载中

评论(22)

杨尚川
杨尚川 博主

引用来自“键盘侠客”的评论

我想做全文检索,对网页标题和内容进行检索,这样的话不是应该把标题和内容全部存储到es中吗?这样还存到hbase里一份都什么意义吗? 毕竟主要的内容都存到es中了?
你如果不把网页原始内容存一份到HBASE里面,那你在搜索结果页面中的快照功能咋实现呢?
键盘侠客
键盘侠客
我想做全文检索,对网页标题和内容进行检索,这样的话不是应该把标题和内容全部存储到es中吗?这样还存到hbase里一份都什么意义吗? 毕竟主要的内容都存到es中了?
杨尚川
杨尚川 博主

引用来自“罗慢慢”的评论

既然Hbase和ES的数据是一样的,它们之间如何配合?

引用来自“杨尚川”的评论

HBase存储完整数据,可对单个网页进行随机读写操作;ES存储部分数据,可以对所有网页进行各种复杂条件的快速检索;ES的检索结果如果需要获取完整网页数据,则利用URL从HBase中读取。

引用来自“elvissss”的评论

请问,检索不是应该发生在获取到数据之后吗?
是的,爬虫“获取到数据”之后,将数据存储到HBASE并索引到ES。
elvissss
elvissss

引用来自“罗慢慢”的评论

既然Hbase和ES的数据是一样的,它们之间如何配合?

引用来自“杨尚川”的评论

HBase存储完整数据,可对单个网页进行随机读写操作;ES存储部分数据,可以对所有网页进行各种复杂条件的快速检索;ES的检索结果如果需要获取完整网页数据,则利用URL从HBase中读取。
请问,检索不是应该发生在获取到数据之后吗?
杨尚川
杨尚川 博主

引用来自“罗慢慢”的评论

既然Hbase和ES的数据是一样的,它们之间如何配合?
HBase存储完整数据,可对单个网页进行随机读写操作;ES存储部分数据,可以对所有网页进行各种复杂条件的快速检索;ES的检索结果如果需要获取完整网页数据,则利用URL从HBase中读取。
罗慢慢
罗慢慢
既然Hbase和ES的数据是一样的,它们之间如何配合?
罗慢慢
罗慢慢
这个设计有实现不?
daixiaoyun3013
daixiaoyun3013
川哥就是牛!!
杨尚川
杨尚川 博主

引用来自“鄂世嘉”的评论

请教一下这个开源项目叫什么名字?Google的结果都是您的这篇文章。
这个是一个方案,不是一个开源项目。
v1daddy
v1daddy

引用来自“PaulWong”的评论

怎么不用ELASTICSEARCH的HBASE RIVER?

引用来自“杨尚川”的评论

在解析完网页后,并行写入HBASE和ELASTICSEARCH
请问下博主 是怎么保证 HBASE和ELASTICSEARCH 数据同步的?
python爬虫(一)_爬虫原理和数据抓取

本篇将开始介绍Python原理,更多内容请参考:Python学习指南 为什么要做爬虫 著名的革命家、思想家、政治家、战略家、社会改革的主要领导人物马云曾经在2015年提到由IT转到DT,何谓DT,DT即数...

小七奇奇
2017/11/13
0
0
网络爬虫基础

网络爬虫 网络爬虫(Computer Robot)(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不...

白志华
2016/01/05
325
0
33款可用来抓数据的开源爬虫软件工具

要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫而...

牵着蜗牛去西藏
2015/11/16
6.8K
2
33款可用来抓数据的开源爬虫软件工具

要玩大数据,没有数据怎么玩?这里推荐一些33款开源爬虫软件给大家。 爬虫,即网络爬虫,是一种自动获取网页内容的程序。是搜索引擎的重要组成部分,因此搜索引擎优化很大程度上就是针对爬虫...

Airship
2015/11/09
335
2
Nutch:从搜索引擎到网络爬虫---分享公开课

Nutch:从搜索引擎到网络爬虫—分享公开课 开源力量公开课,每周二晚线上线下同时开课,让我们一起向IT技术大牛们学习! 课程题目: 开源力量公开课第三十一期- Nutch:从搜索引擎到网络爬虫 ...

liuhua0312
2013/09/13
229
4

没有更多内容

加载失败,请刷新页面

加载更多

Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平...

vivo互联网技术
4分钟前
1
0
java数据类型

基本类型: 整型:Byte,short,int,long 浮点型:float,double 字符型:char 布尔型:boolean 引用类型: 类类型: 接口类型: 数组类型: Byte 1字节 八位 -128 -------- 127 short 2字节...

audience_1
51分钟前
6
0
太全了|万字详解Docker架构原理、功能及使用

一、简介 1、了解Docker的前生LXC LXC为Linux Container的简写。可以提供轻量级的虚拟化,以便隔离进程和资源,而且不需要提供指令解释机制以及全虚拟化的其他复杂性。相当于C++中的NameSpa...

Java技术剑
52分钟前
9
0
Wifiphisher —— 非常非常非常流氓的 WIFI 网络钓鱼框架

编者注:这是一个非常流氓的 WIFI 网络钓鱼工具,甚至可能是非法的工具(取决于你的使用场景)。在没有事先获得许可的情况下使用 Wifiphisher 攻击基础网络设施将被视为非法活动。使用时请遵...

红薯
今天
52
1
MongoDB 4 on CentOS 7安装指南

本教程为CentOS x86_64 7.x操作系统下,MongoDB Community x86_64 4.2(GA)安装指南。 安装方式一:yum repo在线安装 [此方式较为简单,官方推荐] Step1:新建MongDB社区版Yum镜像源。 # vim ...

王焱君
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部