hadoop安装配置遇到的几个问题
博客专区 > Nob 的博客 > 博客详情
hadoop安装配置遇到的几个问题
Nob 发表于3年前
hadoop安装配置遇到的几个问题
  • 发表于 3年前
  • 阅读 40
  • 收藏 0
  • 点赞 0
  • 评论 0

【腾讯云】新注册用户域名抢购1元起>>>   

使用环境:

ubuntu14.04  64位系统

java7

hadoop 2.4.1


几个注意点

1、下载hadoop官网链接不可用,所以在开源中国下载

2、在下列场合务必使用同一个linux帐号权限下操作,我由于习惯与sudo创建配置文件和进行操作,出现一些问题

  • 格式化hdfs

  • ssh无密码登录帐号

  • 新建编辑配置文件

  • 启动hadoop等

3、hadoop要小心版本差异所带来的问题,选择适当的教材,比如hadoop1.x和2.x相比,2.x没有JobTracker和TaskTracker


几个问题:

问题1、localhost: Error: JAVA_HOME is not set and could not be found.

    修改hadoop目录下/hadoop/etc/hadoop/hadoop-env.sh中的 $JAVA_HOME为绝对路径

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java7


问题2、出现本地库无法导入,据说是64位机器会出现

    错误如下:

This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh  
14/08/10 07:07:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
Stopping namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/hadoop/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.  
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.  
cluster1]  
sed: -e expression #1, char 6: unknown option to `s'  
-c: Unknown cipher type 'cd'  
^Ccluster1: stopping namenode  
cluster1: stopping datanode  
VM: ssh: Could not resolve hostname VM: Name or service not known  
stack: ssh: Could not resolve hostname stack: Name or service not known

   解决办法,在hadoop-env.sh修改如下变量,我直接是加在文件末尾

export HADOOP_HOME=/data/server/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


问题3、sbin/start-all.sh启动时只有jps只有一个NodeManager问题?

nob@hadoop0:/data/server/hadoop/sbin$ jps
9922 NodeManager
10236 Jps

 原因:我格式化hdfs的时候使用了超级管理员sudo命令,启动的时候用户权限不一致


问题4、sbin/start-all.sh 启动后使用jps查看没有JobTracker和TaskTracker?

nob@hadoop0:/data/server/hadoop/sbin$ jps
9444 DataNode
9922 NodeManager
9633 SecondaryNameNode
9790 ResourceManager
9291 NameNode
10236 Jps

   原因是: hadoop-2.x版本中不存在JobTracker和TaskTracker,楼主可以参考博客 http://blog.csdn.net/skywalker_only/article/details/37905463,启动NameNode和DataNode的命令为start-dfs.sh,启动yarn的命令为start-yarn.sh。


[参考文献]

 官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html#PseudoDistributed 

  Hadoop-2.4.1学习之以伪分布模式部署Hadoop http://blog.csdn.net/skywalker_only/article/details/37905463 

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 16
博文 86
码字总数 58473
×
Nob
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: