文档章节

nutch2.3+hbase配置

K
 Kadima
发布于 2015/10/29 00:17
字数 285
阅读 617
收藏 0

1,版本是个很重要的问题

nutch上面有介绍和nutch配合使用的各框架的版本

2,下载hbase,放在opt/下

3,tar -zxvf hbase-*

4,更改conf 下的 hbase-site.xml文件

添加属性:

<configuration>

<property>

<name>hbase.rootdir</name>

<value>hbase-data</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/opt/hbase-0.94.27/data/zk-data</value>

</property>

</configuration>

5,启动hbase

6,下载nutch,解压

在conf /nutch-site.xml中

<property>
<name>storage.data.store.class</name>
<value>org.apache.gora.hbase.store.HBaseStore</value>
<description>Default class for storing data</description>
</property>

并去掉在ivy.xml中的gora-hbase的注释配置

gora.properties中加入
gora.datastore.default=org.apache.gora.hbase.store.HBaseStore

7,在项目根部录下ant 

8,如果在ant时出现错误,下载不了某个包时,可以自行下载然后上传到.ivy中的相应目录中


问题:

第一次我安装的是hbase-0.90,在inject时就卡住了,然后日志也没有是么提示,困扰了好几天,无奈之下,重新换了hbase,终于好了

InjectorJob: starting at 2015-10-28 23:29:20

InjectorJob: Injecting urlDir: urls/url

InjectorJob: Using class org.apache.gora.hbase.store.HBaseStore as the Gora storage class.

InjectorJob: total number of urls rejected by filters: 0

InjectorJob: total number of urls injected after normalization and filtering: 1

Injector: finished at 2015-10-28 23:29:24, elapsed: 00:00:03





© 著作权归作者所有

K
粉丝 5
博文 20
码字总数 8451
作品 0
崇明
私信 提问

暂无文章

nginx学习笔记

中间件位于客户机/ 服务器的操作系统之上,管理计算机资源和网络通讯。 是连接两个独立应用程序或独立系统的软件。 web请求通过中间件可以直接调用操作系统,也可以经过中间件把请求分发到多...

码农实战
今天
5
0
Spring Security 实战干货:玩转自定义登录

1. 前言 前面的关于 Spring Security 相关的文章只是一个预热。为了接下来更好的实战,如果你错过了请从 Spring Security 实战系列 开始。安全访问的第一步就是认证(Authentication),认证...

码农小胖哥
今天
12
0
JAVA 实现雪花算法生成唯一订单号工具类

import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import java.util.Calendar;/** * Default distributed primary key generator. * * <p> * Use snowflake......

huangkejie
昨天
12
0
PhotoShop 色调:RGB/CMYK 颜色模式

一·、 RGB : 三原色:红绿蓝 1.通道:通道中的红绿蓝通道分别对应的是红绿蓝三种原色(RGB)的显示范围 1.差值模式能模拟三种原色叠加之后的效果 2.添加-颜色曲线:调整图像RGB颜色----R色增强...

东方墨天
昨天
11
1
将博客搬至CSDN

将博客搬至CSDN

算法与编程之美
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部