文档章节

Cygwin运行nutch报错:Failed to set permissions of path

杨尚川
 杨尚川
发布于 2015/04/07 03:04
字数 232
阅读 177
收藏 0

错误信息:

Exception in thread "main" java.io.IOException:Failed to set permissions of path:\tmp\hadoop-ysc\mapred\staging\ysc-2036315919\.staging to 0700


官方BUG参考:

https://issues.apache.org/jira/browse/HADOOP-7682


解决方法:

1、下载并解压http://archive.apache.org/dist/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

2、修改hadoop-1.1.2\src\core\org\apache\hadoop\fs\FileUtil.java,搜索 Failed to set permissions of path,找到689行,把throw new IOException改为LOG.warn 

3、修改hadoop-1.1.2\build.xml,搜索autoreconf,移除匹配的6个executable="autoreconf"的exec配置 

4、下载解压ant,将ant目录下的bin目录加入环境变量path 

5、在Cygwin命令下行切换到hadoop-1.1.2目录,执行ant 

6、用新生成的hadoop-1.1.2\build\hadoop-core-1.1.3-SNAPSHOT.jar替换nutch的hadoop-core-1.0.3.jar 

7、对于eclipse开发来说,替换C:\Users\ysc\.ivy2\cache\org.apache.hadoop\hadoop-core\jars\hadoop-core-1.1.2.jar


hadoop1.2.1.jar是修改后的JAR,可用于Nutch1.7,其他Nutch版本没测试过。

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
nutch抓取网页数据是把数据存储在本地还是直接就进入数据库?

初步接触搜索引擎方面的知识,打算用nutch作为爬虫来抓取指定的网页,我是在Cygwin下执行nutch命令的,出现如下错误: 一个错误就是cygpath:can`t convert empty path,一个错误就是Failed to...

莫川子
2015/09/20
1K
1
nutch 部署到eclipse常见错误

Nutch部署到eclipse常见错误 Failed to set permissions of path: tmphadoop-hadoopmapredstaginghadoop1847455384.staging to 0700 之前在eclipse上部署hadoop时好像也遇到过这个问题。但是......

hiqj
2014/04/18
16
0
Nutch问题求高手指导

我是一个Nutch生手,最近在搭建Nutch,已经成功安装好java、cygwin(类似linux虚拟机的一个东东)、tomcat、Nutch-1.9(发布版),并配置好环境并测试成功,但在输入抓取数据指令(注:urls.txt里保...

qubo3000
2015/02/02
92
0
Nutch1.7和eclipse集成

Nutch1.7和eclipse集成 1、将nutch项目部署到eclipse 首先到nutch官网上找到FAQ链接http://wiki.apache.org/nutch/FAQ,进入链接 点击第二个链接查看。 参照文档进行配置,有卡壳不明白的地方...

hiqj
2014/04/18
34
0
Nutch1.7 配置到 eclipse

在nutch项目集成到eclipse中遇到了很多的问题,第一次参照网上资料配置成功后,由于没做笔记。第二天写笔记时,没想到又忘记了。诶,悲催的又花了一天。总觉得这次配环境花的时间真的是太多了...

hiqj
2014/04/19
79
0

没有更多内容

加载失败,请刷新页面

加载更多

采坑指南——k8s域名解析coredns问题排查过程

正文 前几天,在ucloud上搭建的k8s集群(搭建教程后续会发出)。今天发现域名解析不了。 组件版本:k8s 1.15.0,coredns:1.3.1 过程是这样的: 首先用以下yaml文件创建了一个nginx服务 apiV...

码农实战
6分钟前
1
0
【2019年8月版本】OCP 071认证考试最新版本的考试原题-第6题

choose three Which three statements are true about indexes and their administration in an Orade database? A) An INVISIBLE index is not maintained when Data Manipulation Language......

oschina_5359
8分钟前
1
0
阿里巴巴开源 Dragonwell JDK 最新版本 8.1.1-GA 发布

导读:新版本主要有三大变化:同步了 OpenJDK 上游社区 jdk8u222-ga 的最新更新;带来了正式的 feature:G1ElasticHeap;发布了用户期待的 Windows 实验版本 Experimental Windows version。...

阿里巴巴云原生
13分钟前
1
0
教你玩转Linux—磁盘管理

Linux磁盘管理好坏直接关系到整个系统的性能问题,Linux磁盘管理常用三个命令为df、du和fdisk。 df df命令参数功能:检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少...

xiangyunyan
16分钟前
3
0
js 让textarea的高度自适应父元素的高度

textarea按照普通元素设置height是没有作用的,可以这么来设置, 下面给上一段项目代码 JS代码: $.fn.extend({ txtaAutoHeight: function () { return this.each(function () {...

文文1
17分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部