文档章节

启动hadoop时的提示信息解释

hoodlake
 hoodlake
发布于 2014/04/10 21:28
字数 657
阅读 753
收藏 1
#启动hadoop分布式系统(在namenode上运行)
start-dfs.sh 
#输入信息如下:

1。下面这句说明了当前这个命令的功能:启动namenode

Starting namenodes on [namenode.hadoop.ymxx]

2。namenode反馈启动信息,并告诉启动namenode的日志文件存放在哪里

    out改成log即是对应的日志文件,冒号 : 前面是目标节点(IP或者机器名),冒号 : 后面是目标节点的反馈信息

namenode.hadoop.ymxx: starting namenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-namenode-namenode.hadoop.ymxx.out

3。datanode反馈启动信息,同样告诉启动datanode的日志存放在datanode节点上的哪个目录下(我这里配置了四个datanode节点)

    datanode4nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode4nodemanager.hadoop.ymxx.out
    datanodenodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanodenodemanager.hadoop.ymxx.out
    datanode2nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode2nodemanager.hadoop.ymxx.out
    datanode3nodemanager.hadoop.ymxx: starting datanode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-datanode-datanode3nodemanager.hadoop.ymxx.out

4。启动secondary namenode

Starting secondary namenodes [secondarynamenode.hadoop.ymxx]

5。seconary namenode反馈启动信息,并告知日志信息

secondarynamenode.hadoop.ymxx: starting secondarynamenode, logging to /cluster/hadoop-2.2.0/logs/hadoop-root-secondarynamenode-secondarynamenode.hadoop.ymxx.out


注:

1。信息里的日志目录是目标节点上的目录,而不是namenode上的目录

2。可以通过jps命令到目标机器上查看,对应的进程有无启动(通常从启动时控制台打印的信息是看不出来有没有启动成功的,必须通过jps去查看有无相关进程)

3。如果发现没有启动,应该立即查看目标节点上的日志文件,分析启动失败的原因

4。这里说明下,网上很多搭建hadoop分布式计算平台的例子都是将NameNode和ResoureManger放在同一台机器上的,所以搭建好了之后,可以在同一台机器上运行start-dfs.sh和start-yarn.sh来启动整个分布式系统,这个做法给人一个错觉仿佛start-dfs.sh,start-yarn.sh都在NameNode上执行了就行了,事实上这是错误的理解方式,start-dfs.sh应该在NameNode所在的机器上执行,而start-yarn.sh应该在ResourceManager所在的机器上执行,这个很重要。我被这个错觉害的很惨,都怪自己没有好好的看官方文档,其实官方文档里说的很清楚:

#翻译下就是:使用下面的命令启动yarn,在被指定为资源管理器的机器上使用yarn这个用户运行
#唉,不看文档,盲目跟风活受罪啊
Start the YARN with the following command, run on the designated ResourceManager as yarn:
[yarn]$ $HADOOP_YARN_HOME/sbin/yarn-daemon.sh --config $HADOOP_CONF_DIR start resourcemanager




© 著作权归作者所有

hoodlake
粉丝 9
博文 12
码字总数 15532
作品 0
深圳
程序员
私信 提问
Hadoop安装详解

一、安装须知 要安装hadoop必须要安装虚拟化软件(VMware或VirtualBox) 网上下载操作系统(ubuntu或centos) CentOS:http://isoredirect.centos.org/centos/7/isos/x8664/CentOS-7-x8664-DV...

刺風
2017/11/27
0
0
hadoop MapReduce初试遇到的问题

hadoop MapReduce初试遇到的问题 ./hadoop jar ./MapReduce-jar-with-dependencies.jar com.hc360.mp.WordCountHbaseReader /user/hbase/tabelname01 tablename 在hadoop集群上执行 MapReduc......

zlfwmm
2016/07/20
0
0
Hadoop日志存放路径详解

  Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输...

aibati2008
2016/07/17
108
0
CDH5.8.3 安装部署

hadoop的发展真快!倒不是想吹各种功能,只是很多命令、特性都在不断变化。比如以前使用的一些命令,这些命令还堂而皇之地出现在各式hadoop宝书上呢,在不断更新的hadoop面前,时不时的已经被...

HappyBKs
2016/12/06
1.2K
0
构建Hadoop+Hbase+ZooKeeper分布式存储

前言* Hadoop是Apache开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服务集成平台的日志分析。服...

wgkgood
2017/02/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

0121 spring-boot-redis的使用

redis是什么呢?redis,属于NoSQL的一种,在互联网时代,起到加速系统的作用。 redis是一种内存数据库,支持7种数据类型的存储,性能1S 10w次读写; redis提供的简单的事务保证了高并发场景下...

李福春carter
20分钟前
28
0
redis的有序集合研究

假设执行下面的操作 jedis.zadd("myzset", System.currentTimeMillis(), "An error is returned when key exists but does not hold a sorted set.\r\n" + "\r\n" ......

强子大叔的码田
38分钟前
33
0
如何防止favicon.ico请求?

我没有favicon.ico,但IE总是提出请求。 是否可以阻止浏览器从我的网站请求favicon? 也许HTML标题中有一些META-TAG? #1楼 你不能。 您所能做的就是使该图像尽可能小,并在将来设置一些缓存...

技术盛宴
39分钟前
34
0
如何在Subversion中返回旧版本的代码?

我正和一位朋友一起开展一个项目,我想回到我们代码的旧版本并将其设置为当前版本。 我该怎么做? 我在vs08上使用“anksvn”。 我在我的电脑上有我想要的版本,但提交失败了; 我得到的消息是...

javail
54分钟前
62
0
全网最全RabbitMQ总结,别再说你不会RabbitMQ

RabbitMQ入门教程 当初我学RabbitMQ的时候,第一时间就上GitHub找相应的教程,但是令我很失望的是没有找到,Spring,Mybatis之类的教程很多,而RabbitMQ的教程几乎找不到,看的最多的就是朱小...

erlieStar
今天
52
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部