文档章节

hadoop安装配置遇到的几个问题

Nob
 Nob
发布于 2014/11/01 16:26
字数 583
阅读 42
收藏 0
点赞 0
评论 0

使用环境:

ubuntu14.04  64位系统

java7

hadoop 2.4.1


几个注意点

1、下载hadoop官网链接不可用,所以在开源中国下载

2、在下列场合务必使用同一个linux帐号权限下操作,我由于习惯与sudo创建配置文件和进行操作,出现一些问题

  • 格式化hdfs

  • ssh无密码登录帐号

  • 新建编辑配置文件

  • 启动hadoop等

3、hadoop要小心版本差异所带来的问题,选择适当的教材,比如hadoop1.x和2.x相比,2.x没有JobTracker和TaskTracker


几个问题:

问题1、localhost: Error: JAVA_HOME is not set and could not be found.

    修改hadoop目录下/hadoop/etc/hadoop/hadoop-env.sh中的 $JAVA_HOME为绝对路径

# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/usr/lib/jvm/java7


问题2、出现本地库无法导入,据说是64位机器会出现

    错误如下:

This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh  
14/08/10 07:07:57 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
Stopping namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/hadoop/hadoop-2.2.0/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.  
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.  
cluster1]  
sed: -e expression #1, char 6: unknown option to `s'  
-c: Unknown cipher type 'cd'  
^Ccluster1: stopping namenode  
cluster1: stopping datanode  
VM: ssh: Could not resolve hostname VM: Name or service not known  
stack: ssh: Could not resolve hostname stack: Name or service not known

   解决办法,在hadoop-env.sh修改如下变量,我直接是加在文件末尾

export HADOOP_HOME=/data/server/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


问题3、sbin/start-all.sh启动时只有jps只有一个NodeManager问题?

nob@hadoop0:/data/server/hadoop/sbin$ jps
9922 NodeManager
10236 Jps

 原因:我格式化hdfs的时候使用了超级管理员sudo命令,启动的时候用户权限不一致


问题4、sbin/start-all.sh 启动后使用jps查看没有JobTracker和TaskTracker?

nob@hadoop0:/data/server/hadoop/sbin$ jps
9444 DataNode
9922 NodeManager
9633 SecondaryNameNode
9790 ResourceManager
9291 NameNode
10236 Jps

   原因是: hadoop-2.x版本中不存在JobTracker和TaskTracker,楼主可以参考博客 http://blog.csdn.net/skywalker_only/article/details/37905463,启动NameNode和DataNode的命令为start-dfs.sh,启动yarn的命令为start-yarn.sh。


[参考文献]

 官方文档 http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html#PseudoDistributed 

  Hadoop-2.4.1学习之以伪分布模式部署Hadoop http://blog.csdn.net/skywalker_only/article/details/37905463 

© 著作权归作者所有

共有 人打赏支持
Nob

Nob

粉丝 16
博文 86
码字总数 58473
作品 0
东城
个人站长
【Hadoop】hiveserver2 不能启动端口 10000 开启服务的相关经验总结

原创文章,转载请标注来自http://blog.csdn.net/lsttoy/article/details/53490144。 这个问题困扰了我三天,各种查资料踩坑填坑的尝试,终于搞定了这个问题。 首先来品尝下喜悦! OK,言归正传...

lsttoy
2016/12/06
0
0
Linux下安装Hadoop(2.7.1)详解及WordCount运行

一、引言   在完成了Storm的环境配置之后,想着鼓捣一下Hadoop的安装,网上面的教程好多,但是没有一个特别切合的,所以在安装的过程中还是遇到了很多的麻烦,并且最后不断的查阅资料,终于...

oO维尼熊Oo
05/03
0
0
Hadoop启动不了Namenode进程,出现IllegalArgumentException异常

这次的问题乍看起来很奇怪,在本机完成配置启动Hadoop的时候,首先,我们需要对namenode进行format,但是在执行了命令之后,却出现了如下的异常:FATAL namenode.NameNode: Exception in nam...

天下杰论
2015/07/13
0
0
编译hadoop2.9源码并搭建环境

因为以前安装Hadoop编译版的时候遇到过问题,时间比较久了,具体问题有些描述不清了,建议大家下载源码自己编译安装,如果遇到bug自己直接可以修改安装。本文的实验系统是mac,但是其他环境类...

土木匠
2017/12/07
0
0
windows eclipse远程连接hadoop集群并提交任务运行

1 下载插件 hadoop-eclipse-plugin-2.5.1.jar 从网上下载对应版本的插件,http://download.csdn.net/detail/tondayong1981/7920973 2 配置插件 把插件放到..eclipseplugins目录下,重启eclip...

张欢19933
2016/02/25
506
0
零基础学习hadoop到上手工作线路指导(编程篇)

问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如何编译hadoop源码? ...

一枚Sir
2014/08/07
787
0
搭建hadoop开发环境--基于xp+cygwin

1.安装cygwin 参考博文:http://hi.baidu.com/%BD%AB%D6%AE%B7%E7_%BE%B2%D6%AE%D4%A8/blog/item/8832551c7598551f314e15c2.html Q1.实际安装中在第9步 “打开cygwin进行配置,首先输入:ssh......

王二铁
2012/02/14
0
0
搭建Zookeeper与Hbase过程及遇到的问题总结

我的经验是最好放在hadoop一块,这样可以做个全盘拷贝与管理。比如之前安装的hadoop在/usr/hadoop目录下,那就把这2个组件放在一块,比如统一放在:/usr/hadoop/...或 /home/hadoop/...这样以...

hanzhankang
2013/05/09
0
0
(单机)CentOS 7_64位系统下搭建Hadoop_2.8.0分布式环境

准备条件: CentOS 7 64位操作系统 | 选择版本即可(不带可视化桌面环境),也可以选择带完整版 Hadoop-2.8.0 | 本文采用的是版本。 JDK1.8 | 本文采用版本。 - 解压并配置JDK并配置Hadoop ...

Youngs
2017/06/07
0
0
centos6.5 安装hadoop2.7.6 1master2node

环境采用centos 6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装,Java下载的oracle官网的1.8.0_172的包安装。 参考了别人的文档,遇到了不同的问题。 1. 3台centos6.5 vmware 192.168.17...

简记
04/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

mysql 主从复制中遇到的错误!

。。。。。

万建宁
9分钟前
0
0
DUBBO 详细介绍

摘要: 主要核心部件: Remoting: 网络通信框架,实现了 sync-over-async 和 request-response 消息机制. RPC: 一个远程过程调用的抽象,支持负载均衡、容灾和集群功能 Registry: 服务目录框架...

明理萝
19分钟前
0
1
4 个快速的 Python 编译器 for 2018

简评:Python 和其他的解释型语言一样经常被吐槽性能不行,所以开发人员为了提升性能创建了不少编译器,本文则选取其中的四个做了基准测试。 Python 其实是一种相当快的语言,但它并不像编译...

极光推送
23分钟前
0
0
spring boot注册多个MQ服务器的问题

关于注册到多个MQ源的文章已经有很多了,这里记录一下声明queue的坑; 如果使用注册bean的方式声明queue,会导致声明的queue同时被注册到所有的MQ源上; //如果使用下面的声明方式,que...

placeholder
24分钟前
0
0
Java面试基础篇——第九篇:BIO,NIO,AIO的区别

现在IO模型主要分三类:BIO(同步阻塞IO),NIO(同步非阻塞IO),AIO()。 先来看看BIO。 1. BIO 服务端接受到请求后,要指派或新建一个线程去处理客户端的IO请求,直到收到断开连接的指令。这么做...

developlee的潇洒人生
29分钟前
0
0
@RequestMapping @ResponseBody 和 @RequestBody 用法与区别

1.@RequestMapping 国际惯例先介绍什么是@RequestMapping,@RequestMapping 是一个用来处理请求地址映射的注解,可用于类或方法上。用于类上,表示类中的所有响应请求的方法都是以该地址作为...

特拉仔
31分钟前
1
0
基于 HTML5 结合互联网+ 的 3D 隧道

前言 目前,物资采购和人力成本是隧道业发展的两大瓶颈。比如依靠民间借贷,融资成本很高;采购价格不透明,没有增值税发票;还有项目管控和供应链管理的问题。成本在不断上升,利润在不断下...

xhload3d
33分钟前
0
0
济南小程序热度分析

原文链接:http://www.jnqianle.cn/company/2072.html

tianma3798
34分钟前
1
0
大数据软件

beats 采集 kafka spark hive es grafana zeppelin

ArlenXu
36分钟前
0
0
Mac item2常用快捷键

标签 新建标签:command + t 关闭标签:command + w 切换标签:command + 数字 command + 左右方向键 切换全屏:command + enter 查找:command + f 分屏 水平分屏:command + d 垂直分屏:c...

说回答
39分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部