文档章节

Hadoop报错和解决方法

 一脸坏笑
发布于 2014/07/14 16:21
字数 410
阅读 74
收藏 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

JAVA_HOME is not set and could not be found

‍‍显然这是没有设置JAVA_HOME环境变量引起的。但是在设置了JAVA_HOME环境变量后仍报这个错误。 启动脚本无法读到这个环境变量,查资料后,通过在$HADOOP_HOME/libexec/hadoop-config.sh中加入export JAVA_HOME=/PATH/TO/JDK后解决。

为何脚本不能读取系统设置的JAVA_HOME环境变量,还需要研读启动脚本来找到原因。


WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

执行./start-all.sh启动hadoop集群时报WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

本地库不存在,或者本地库与当前操作系统的版本不一致的时候会报这个错误。hadoop官网下载的hadoop版本带的native库文件是32位的。 如果部署在64bit系统上,需要重新编译来解决。另外遇到过重新编译64位native库文件后仍然报这个错误,执行bash -x start-all.sh,跟踪报错原因,有发现启动时在$HADOOP_HOME/lib目录中寻找native库文件,而native库文件默认存放在$HADOOP_HOME/lib/native目录中。暂时把库文件拷贝到lib目录下解决了该问题。不过正确的应该是通过定义native库文件路径的方式来解决,具体定义的位置没有找到。等找到后补上。


org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container.

原因:namenode、datanode节点主机系统时间不一致引起

解决:配置ntp服务,定时同步时钟,使集群各节点服务器时间保持一致。







© 著作权归作者所有

粉丝 0
博文 14
码字总数 5708
作品 0
杭州
私信 提问
使用sqoop从mysql导入数据到hive

stop-yarn.shstart-dfs.shstart-yarn.sh

wscrf
2018/05/28
0
0
nutch 部署到eclipse常见错误

Nutch部署到eclipse常见错误 Failed to set permissions of path: tmphadoop-hadoopmapredstaginghadoop1847455384.staging to 0700 之前在eclipse上部署hadoop时好像也遇到过这个问题。但是......

hiqj
2014/04/18
18
0
lzo格式表执行sql报错

异常:at com.hadoop.mapred.DeprecatedLzoTextInputFormat 解决方法: 由于某表索引问题报错,查看表路径: desc formatted 表名; 创建索引 hadoop jar /usr/hdp/2.2.6.0-2800/hadoop/lib/...

yntmdr
2018/02/02
0
0
windows下使用Eclipse运行MapReduce程序出错: Failed to set...

在windows下用Eclipse运行MapReduce程序会报错: 这个问题在网上很常见了, 搜下有很多, 原因和解决方案: 这个是Windows下文件权限问题,在Linux下可以正常运行,不存在这样的问题。 解决方法是...

lifephp
2013/09/01
1K
0
Hadoop中的MultipleOutput使用(45)

原数据: 预想处理后的结果: MyMapper.java package com.xr.text; import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.a......

肖鋭
2014/08/12
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

dynamic-connectivity 动态连通性问题之 quick-union 算法

quick-union 的思想是:若对象 p 的 root_id 和对象 q 的 root_id 相等,则认为 p 和 q 连通。 若要将对象 p 和对象 q 连通(已知两对象未连通),则将 p 的 root_id 的值设为 q 的 root_id ...

Phpythoner_Alei
今天
40
0
OSChina 周六乱弹 —— 实在选不出来就唱国歌

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享阿冗的单曲《你的答案》。--祝大家在2020年都找到自己答案。 《你的答案》- 阿冗 手机党少年们想听歌,请使劲...

小小编辑
今天
25
1
Maven打包可执行Jar包的方法

在使用Java开发中,会使用到将工程打包成可执行的jar包的情况,那么在maven中怎么将项目中的依赖包都添加到jar中呢。在pom.xml中添加一下插件: <build><plugins><plugin><ar...

CapJes
今天
13
0
使用vue 开发地图类系统(openlayers.js)的注意。

使用vue 开发地图类系统的注意。 1、使用地图应该创建的对象 少使用 vue 的data 和计算属性(comments)存数据或是vuex。 为什么要要注意这个问题呢? 答:这个就要了解到vue的实现原理 。原理...

DY-Tao
昨天
10
0
web移动端学习:高德地图demo(一)

在高德地图开发中申请开发者资格,然后在控制台中新建应用,获得KEY; 新建模板HTML文件; <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>地图demo</title><scri......

dxiya
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部