文档章节

Hadoop jobhistory历史服务器

Zero零_度
 Zero零_度
发布于 2017/06/03 12:02
字数 428
阅读 7
收藏 0

Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器

$ sbin/mr-jobhistory-daemon.sh  start historyserver

这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。历史服务器可以单独在一台机器上启动,主要是通过以下的参数配置:

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>0.0.0.0:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>0.0.0.0:19888</value>
</property>

上面的参数是在mapred-site.xml文件中进行配置,mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address默认的值分别是0.0.0.0:10020和0.0.0.0:19888,大家可以根据自己的情况进行相应的配置,参数的格式是host:port。配置完上述的参数之后,重新启动Hadoop jobhistory,这样我们就可以在mapreduce.jobhistory.webapp.address参数配置的主机上对Hadoop历史作业情况经行查看。

很多人就会问了,这些历史数据是存放在哪里的?是存放在HDFS中的,我们可以通过下面的配置来设置在HDFS的什么目录下存放历史作业记录:

<property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>

<property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>${yarn.app.mapreduce.am.staging-dir}
                        /history/done_intermediate</value>
</property>

<property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>/tmp/hadoop-yarn/staging</value>
</property>

 

但是注意JobHistory的市区是HKT,而ResourceManager的市区是GMT,不在一个是去,看id来查看吧。

1

sbin/mr-jobhistory-daemon.sh  start historyserver

本文转载自:http://www.cnblogs.com/hxsyl/p/6063445.html

Zero零_度
粉丝 69
博文 1258
码字总数 257684
作品 0
程序员
私信 提问
yarn的jobhistory服务器

参考:Hadoop jobhistory历史服务器介绍 jobhistory server是yarn集群跑的job的一些信息,不包含任务运行日志!,你可以将jobhistory server运行在slave机器上也行。 修改mapred-site.xml文件...

cjun1990
2015/07/31
0
0
使用sqoop从mysql导入数据到hive

stop-yarn.shstart-dfs.shstart-yarn.sh

wscrf
2018/05/28
0
0
hadoop2.x的配置二

三、yarn-site.xml 1.ResourceManager的配置,参考:Hadoop YARN配置参数剖析(1)—RM与NM相关参数 !yarn.resourcemanager.ha.enabled=false。 非YARN HA使用默认配置 YARN HA使用如下配置 ...

cjun1990
2015/08/24
817
0
Hadoop-2.6.0集群搭建(多机环境HDFS+YARN,非HA)

Hadoop-2.6.0分布式集群搭建(非HA) 下载Hadoop: http://hadoop.apache.org/releases.html 集群规划 master机器解压至 /home/hadoop/hadoop 目录下 设置环境变量 HADOOP_HOME 在hadoop-2....

翻船全靠浪
2016/04/26
38
0
hadoop-2.4.0完全分布式集群搭建

1.配置hosts 各linux版本hosts文件位置可能不同,redhat是在 /etc/hosts,编辑之: 172.17.0.1 master172.17.0.2 resorucemanager172.17.0.3 datanode1172.17.0.4 datanode2172.17.0.5 data......

voyage1314
2014/05/08
0
1

没有更多内容

加载失败,请刷新页面

加载更多

vue预渲染

prerender-spa-plugin 安装prerender-spa-plugin (插件使用见npm官网)[https://www.npmjs.com/package/prerender-spa-plugin] npm install prerender-spa-plugin --save-dev 配置prerender-s......

莫西摩西
31分钟前
0
0
Command模式

https://www.cnblogs.com/devinzhang/archive/2012/01/06/2315235.html

南桥北木
今天
1
0
由于PostgreSQL9.x二进制输出格式默认值改变导致的读取图片错误

今天从社区邮件看到一个这样的问题,感觉很有意思,在这分享给大家~具体如下: 问题现象: 作者有一个很老的Java应用,当时后端采用的PostgreSQL数据库版本为8.x,该系统除了正常的数据增删...

闻术苑
今天
2
0
导入sql时出现Invalid default value for 'create_time'报错处理方法

当运行SQL会出现:[Err] 1067 - Invalid default value for 'create_time',是因为Mysql版本不同,如果版本不 < 5.6请去的话报错的处理方法如下: 方法 :alter table table_name modify cre......

writeademo
今天
1
0
对ssm(spring,springmvc,mybatis)的了解总结

ssm框架现在是java web开发的三个主流框架 ,其实严格来算只算是两个框架,因为springmvc属于spring框架 ,是spring的一个mvc子框架 那么我们下面就来了解一下三大框架把 一 .Spring spring...

咸鱼-李y
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部