文档章节

Cygwin运行nutch报错:Failed to set permissions of path

杨尚川
 杨尚川
发布于 2015/04/07 03:04
字数 232
阅读 177
收藏 0

错误信息:

Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700


官方BUG参考:

https://issues.apache.org/jira/browse/HADOOP-7682


解决方法:

1、下载并解压http://archive.apache.org/dist/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

2、修改hadoop-1.1.2\src\core\org\apache\hadoop\fs\FileUtil.java,搜索 Failed to set permissions of path,找到689行,把throw new IOException改为LOG.warn 

3、修改hadoop-1.1.2\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 

4、下载解压ant,将ant目录下的bin目录加入环境变量path 

5、在Cygwin命令下行切换到hadoop-1.1.2目录,执行ant 

6、用新生成的hadoop-1.1.2\build\hadoop-core-1.1.3-SNAPSHOT.jar替换nutch的hadoop-core-1.0.3.jar 

7、对于eclipse开发来说,替换C:\Users\ysc\.ivy2\cache\org.apache.hadoop\hadoop-core\jars\hadoop-core-1.1.2.jar


hadoop1.2.1.jar是修改后的JAR,可用于Nutch1.7,其他Nutch版本没测试过。

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
nutch抓取网页数据是把数据存储在本地还是直接就进入数据库?

初步接触搜索引擎方面的知识,打算用nutch作为爬虫来抓取指定的网页,我是在Cygwin下执行nutch命令的,出现如下错误: 一个错误就是cygpath:can`t convert empty path,一个错误就是Failed to...

莫川子
2015/09/20
1K
1
nutch 部署到eclipse常见错误

Nutch部署到eclipse常见错误 Failed to set permissions of path: tmphadoop-hadoopmapredstaginghadoop1847455384.staging to 0700 之前在eclipse上部署hadoop时好像也遇到过这个问题。但是......

hiqj
2014/04/18
14
0
Nutch问题求高手指导

我是一个Nutch生手,最近在搭建Nutch,已经成功安装好java、cygwin(类似linux虚拟机的一个东东)、tomcat、Nutch-1.9(发布版),并配置好环境并测试成功,但在输入抓取数据指令(注:urls.txt里保...

qubo3000
2015/02/02
92
0
Nutch1.7和eclipse集成

Nutch1.7和eclipse集成 1、将nutch项目部署到eclipse 首先到nutch官网上找到FAQ链接http://wiki.apache.org/nutch/FAQ,进入链接 点击第二个链接查看。 参照文档进行配置,有卡壳不明白的地方...

hiqj
2014/04/18
34
0
Nutch1.7 配置到 eclipse

在nutch项目集成到eclipse中遇到了很多的问题,第一次参照网上资料配置成功后,由于没做笔记。第二天写笔记时,没想到又忘记了。诶,悲催的又花了一天。总觉得这次配环境花的时间真的是太多了...

hiqj
2014/04/19
78
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周四乱弹 —— 干啥啥不行,吃饭第一名。

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @巴拉迪维 : 李白到杜甫家吃饭。杜甫洗菜,发现只有青瓜和萝卜,心中愧疚。这时,他看见了邻居家的鸡,杜甫一时心酸,忍不住喃喃自语:我希望...

小小编辑
31分钟前
203
7
Java描述设计模式(08):桥接模式

本文源码:GitHub·点这里 || GitEE·点这里 一、桥接模式简介 1、基础描述 桥梁模式是对象的结构模式。又称为柄体(Handle and Body)模式或接口(Interface)模式。桥梁模式的用意是“将抽象化...

知了一笑
31分钟前
6
0
C++ 函数指针的用法

天王盖地虎626
45分钟前
3
0
白话比原链跨链技术

随着Bystack的主侧链架构的推出,主侧链之间的跨链问题也成为比原链团队的主要攻克工程难题,当前比原链已经推出了两种跨链的机制,各有不同的侧重点,可能因为本身的跨链技术比较晦涩,本篇...

比原链Bytom
53分钟前
4
0
PostgreSQL参数search_path影响及作用

search_path稍微熟悉PG就会用到,用法这里就不必讲,本篇主要讲它在程序里怎样处理。 1、GUC参数定义 这是个 config_string 参数 {{"search_path", PGC_USERSET, CLIENT_CONN_STATEMENT,...

有理想的猪
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部