文档章节

nutch 部署到eclipse常见错误

hiqj
 hiqj
发布于 2014/04/18 17:23
字数 638
阅读 18
收藏 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

Nutch部署到eclipse常见错误

Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

之前在eclipse上部署hadoop时好像也遇到过这个问题。但是,现在已经不知道怎么解决了。

所以,笔记很重要!!!

方法1

  1. 注释掉

<target name="create-native-configure">

<exec executable="autoreconf" dir="${native.src.dir}" searchpath="yes" failonerror="yes">  <arg value="-if"/>

</exec>

  </target>

  1. 去掉compile-core-native

  <target name="compile-core-native" depends="create-native-configurecompile-core-classes"

 if="compile.native">

中的create-native-configure依赖

3、修改hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691行,把throw new IOException改为LOG.warn

4、用ant编译项目,编译成功后从build文件夹中取出hadoop-core.jar文件夹,放入我们eclipse中的hadoop项目中,替换项目中原有hadoop-core.jar,放入lib文件夹下。再通过buildpath添加jar包。

方法2

不用修改build.xml,直接修改FileUtil.java文件中的“checkReturnValue(rv, f, permission);”,直接注释掉,再用ant命令编译一遍即可产生hadoop-core.jar包,同样将hadoop-core.jar替换掉项目中hadoop-core.jar

 

继解决了上一个异常Failed to set permissions of path:之后,运行文件又出现异常:

运行参数为:urls -dir crawl -depth 2 -topN 2

异常为:

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

这个错是由于未正确指定参数Program arguments导致的。来来去去就这么几个错,折腾了一天。深刻体会到,有时候想问题真的不要那么狭隘,要敢于大胆假设。从没想过是Program arguments的问题。。。不过找到问题了就快了。

Eclipse查看hadoop源代码

Eclipse查看hadoop源代码导入不成功。以hadoop-1.2.1.tar.gz为例,我们先解压hadoop项目,然后在压缩成zip格式的文件,导入即可成功。

total number of urls rejected by filters: 0

我遇见的这个问题并不是由于程序本身问题导致的,而是因为传递配置参数时没写正确。

eclipse中运行injector类时,传的参数应当为:

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

继续运行,这次会发现已经开始报错了。很好,报错是好事,害怕的就是它不报错。能报错就好办了,继续解决下边这个异常:

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch部署过程中出现了下面错误,主要是没有正确配置插件导致的,可以通过设置nutch-site.xml文件的plugin.folders属性解决问题

 修改confnutch-default文件将plugin.folders的值由plugins修改为./src/plugin

因为plugin文件在src目录下。

 

© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
编写一个最简单的Nutch插件

nutch是高度可扩展的,他使用的插件系统是基于Eclipse2.x的插件系统。在这篇文章中我讲解一下如何编写一个nutch插件,以及在这个过程中我遇到的坑。 请先确保你在eclipse中成功运行了nutch,...

cloud-coder
2015/07/02
1K
0
Nutch1.7和eclipse集成

Nutch1.7和eclipse集成 1、将nutch项目部署到eclipse 首先到nutch官网上找到FAQ链接http://wiki.apache.org/nutch/FAQ,进入链接 点击第二个链接查看。 参照文档进行配置,有卡壳不明白的地方...

hiqj
2014/04/18
48
0
Nutch1.7 配置到 eclipse

在nutch项目集成到eclipse中遇到了很多的问题,第一次参照网上资料配置成功后,由于没做笔记。第二天写笔记时,没想到又忘记了。诶,悲催的又花了一天。总觉得这次配环境花的时间真的是太多了...

hiqj
2014/04/19
82
0
Nutch 组件扩展--nutch-ajax

Nutch AJAX page Fetch, Parse, Index Plugin 项目简介 基于Apache Nutch 2.3 和 Htmlunit, Selenium WebDriver 等组件扩展,实现对于 AJAX 加载类型页面的完整页面内容抓取,以及特定数据项...

xautlx
2015/02/26
3.1K
0
nutch-ajax 发布基于 Nutch&Solr 的文档更新

项目提供一份比较详细的“基于Nutch&Solr定向采集解析和索引搜索的整合技术指南文档”,可通过以下两种方式查看参考文档内容: * 直接获取项目内容后,在document目录下根据自己熟悉的编辑器...

EntDIY
2015/05/04
1K
3

没有更多内容

加载失败,请刷新页面

加载更多

dynamic-connectivity 动态连通性问题之 quick-union 算法

quick-union 的思想是:若对象 p 的 root_id 和对象 q 的 root_id 相等,则认为 p 和 q 连通。 若要将对象 p 和对象 q 连通(已知两对象未连通),则将 p 的 root_id 的值设为 q 的 root_id ...

Phpythoner_Alei
今天
40
0
OSChina 周六乱弹 —— 实在选不出来就唱国歌

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享阿冗的单曲《你的答案》。--祝大家在2020年都找到自己答案。 《你的答案》- 阿冗 手机党少年们想听歌,请使劲...

小小编辑
今天
25
1
Maven打包可执行Jar包的方法

在使用Java开发中,会使用到将工程打包成可执行的jar包的情况,那么在maven中怎么将项目中的依赖包都添加到jar中呢。在pom.xml中添加一下插件: <build><plugins><plugin><ar...

CapJes
今天
13
0
使用vue 开发地图类系统(openlayers.js)的注意。

使用vue 开发地图类系统的注意。 1、使用地图应该创建的对象 少使用 vue 的data 和计算属性(comments)存数据或是vuex。 为什么要要注意这个问题呢? 答:这个就要了解到vue的实现原理 。原理...

DY-Tao
昨天
10
0
web移动端学习:高德地图demo(一)

在高德地图开发中申请开发者资格,然后在控制台中新建应用,获得KEY; 新建模板HTML文件; <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>地图demo</title><scri......

dxiya
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部