文档章节

Hadoop日志存放路径详解

aibati2008
 aibati2008
发布于 2016/07/17 17:05
字数 1362
阅读 34
收藏 5
点赞 0
评论 0

  Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)、Hadoop系统服务输出的日志;(2)、Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop 2.x版本进行说明的,其中有些地方在Hadoop 1.x中是没有的,请周知。
  

一、Hadoop系统服务输出的日志

  诸如NameNode、DataNode、ResourceManage等系统自带的服务输出来的日志默认是存放在${HADOOP_HOME}/logs目录下。比如resourcemanager的输出日志为yarn-${USER}-resourcemanager-${hostname}.log,其中${USER}s是指启动resourcemanager进程的用户,${hostname}是resourcemanager进程所在机器的hostname;当日志到达一定的大小(可以在${HADOOP_HOME}/etc/hadoop/log4j.properties文件中配置)将会被切割出一个新的文件,切割出来的日志文件名类似yarn-${USER}-resourcemanager-${hostname}.log.数字的,后面的数字越大,代表日志越旧。在默认情况下,只保存前20个日志文件,比如下面:

-rw-r--r-- 1 wyp wyp 124M Mar 14 17:01 yarn-wyp-resourcemanager-master.log

-rw-r--r-- 1 wyp wyp 257M Mar  9 10:02 yarn-wyp-resourcemanager-master.log.1

-rw-r--r-- 1 wyp wyp 257M Feb  4 09:05 yarn-wyp-resourcemanager-master.log.10

-rw-r--r-- 1 wyp wyp 257M Feb  1 17:04 yarn-wyp-resourcemanager-master.log.11

-rw-r--r-- 1 wyp wyp 257M Jan 30 01:04 yarn-wyp-resourcemanager-master.log.12

-rw-r--r-- 1 wyp wyp 257M Jan 26 04:01 yarn-wyp-resourcemanager-master.log.13

-rw-r--r-- 1 wyp wyp 257M Jan 22 16:12 yarn-wyp-resourcemanager-master.log.14

-rw-r--r-- 1 wyp wyp 257M Jan 20 17:14 yarn-wyp-resourcemanager-master.log.15

-rw-r--r-- 1 wyp wyp 257M Jan 18 19:01 yarn-wyp-resourcemanager-master.log.16

-rw-r--r-- 1 wyp wyp 257M Jan 15 15:21 yarn-wyp-resourcemanager-master.log.17

-rw-r--r-- 1 wyp wyp 257M Jan 15 15:00 yarn-wyp-resourcemanager-master.log.18

-rw-r--r-- 1 wyp wyp 257M Jan 15 14:40 yarn-wyp-resourcemanager-master.log.19

-rw-r--r-- 1 wyp wyp 257M Mar  5 21:00 yarn-wyp-resourcemanager-master.log.2

-rw-r--r-- 1 wyp wyp 257M Jan 15 14:20 yarn-wyp-resourcemanager-master.log.20

-rw-r--r-- 1 wyp wyp 257M Feb 23 00:00 yarn-wyp-resourcemanager-master.log.3

-rw-r--r-- 1 wyp wyp 257M Feb 20 08:05 yarn-wyp-resourcemanager-master.log.4

-rw-r--r-- 1 wyp wyp 257M Feb 17 17:04 yarn-wyp-resourcemanager-master.log.5

-rw-r--r-- 1 wyp wyp 257M Feb 15 01:05 yarn-wyp-resourcemanager-master.log.6

-rw-r--r-- 1 wyp wyp 257M Feb 12 09:00 yarn-wyp-resourcemanager-master.log.7

-rw-r--r-- 1 wyp wyp 257M Feb  9 17:08 yarn-wyp-resourcemanager-master.log.8

-rw-r--r-- 1 wyp wyp 257M Feb  7 01:10 yarn-wyp-resourcemanager-master.log.9

上面这些都是可以配置的,比如resourcemanager(在${HADOOP_HOME}/etc/hadoop/log4j.properties):

log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAppManager

          $ApplicationSummary=${yarn.server.resourcemanager.appsummary.logger}

log4j.additivity.org.apache.hadoop.yarn.server.resourcemanager

                                    .RMAppManager$ApplicationSummary=false

log4j.appender.RMSUMMARY=org.apache.log4j.RollingFileAppender

log4j.appender.RMSUMMARY.File=${hadoop.log.dir}/

                        ${yarn.server.resourcemanager.appsummary.log.file}

log4j.appender.RMSUMMARY.MaxFileSize=256MB(多大切割日志)

log4j.appender.RMSUMMARY.MaxBackupIndex=20(说明保存最近20个日志文件)

log4j.appender.RMSUMMARY.layout=org.apache.log4j.PatternLayout

log4j.appender.RMSUMMARY.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n

resourcemanager日志存放路径也是可以配置的(在${HADOOP_HOME}/etc/hadoop/yarn-env.sh):

# default log directory & file

if [ "$YARN_LOG_DIR" = "" ]; then

  YARN_LOG_DIR="$HADOOP_YARN_HOME/logs"

fi

只需要修改YARN_LOG_DIR的值,这时候,yarn相关的日志记录都将存放在你配置的目录下。
  

二、Mapreduce程序相关的日志

  Mapreduce程序的日志可以分为历史作业日志和Container日志。
  (1)、历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息;这些信息对分析作业是很有帮助的,我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的:

<property>

    <name>mapreduce.jobhistory.done-dir</name>

    <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>

</property>

  

<property>

    <name>mapreduce.jobhistory.intermediate-done-dir</name>

    <value>${yarn.app.mapreduce.am.staging-dir}

                         /history/done_intermediate</value>

</property>

  

<property>

    <name>yarn.app.mapreduce.am.staging-dir</name>

    <value>/tmp/hadoop-yarn/staging</value>

</property>

  (2)、Container日志包含ApplicationMaster日志和普通Task日志等信息。默认情况下,这些日志信息是存放在${HADOOP_HOME}/logs/userlogs目录下,我们可以通过下面的配置进行修改:

<property>

    <description>

      Where to store container logs. An application's localized log directory

      will be found in ${yarn.nodemanager.log-dirs}/application_${appid}.

      Individual containers' log directories will be below this, in

      directories  named container_{$contid}. Each container directory will

      contain the files stderr, stdin, and syslog generated by that container.

    </description>

    <name>yarn.nodemanager.log-dirs</name>

    <value>${yarn.log.dir}/userlogs</value>

</property>

 

3.日志聚集相关配置参数

日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。

(1) yarn.log-aggregation-enable

参数解释:是否启用日志聚集功能。

默认值:false

(2) yarn.log-aggregation.retain-seconds

参数解释:在HDFS上聚集的日志最多保存多长时间。

默认值:-1

(3) yarn.log-aggregation.retain-check-interval-seconds

参数解释:多长时间检查一次日志,并将满足条件的删除,如果是0或者负数,则为上一个值的1/10。

默认值:-1

(4) yarn.nodemanager.remote-app-log-dir

参数解释:当应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效)。

默认值:/tmp/logs

(5) yarn.log-aggregation.retain-seconds

参数解释:远程日志目录子目录名称(启用日志聚集功能时有效)。

默认值:日志将被转移到目录${yarn.nodemanager.remote-app-log-dir}/${user}/${thisParam}下

 如果hdfs日志路径使用默认值,则可以在/tmp/logs目录下找到所有用户的application运行日志。

 

熟悉Hadoop相关日志的存放地方不仅对运维Hadoop和观察Mapreduce的运行都是很有帮助的。

参考链接:

http://www.iteblog.com/archives/896

http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-log-aggregation/

http://stackoverflow.com/questions/32713587/how-to-keep-yarns-log-files

© 著作权归作者所有

共有 人打赏支持
aibati2008
粉丝 12
博文 81
码字总数 60745
作品 0
成都
技术主管
hadoop日志:项目日志输出级别和日志存放路径详解

1.hadoop项目日志输出级别 首先了解log4j的基本知识,参考之前的博客。 对于hadoop来说,日志很繁杂。对于输出日志的级别,首先查看hadoop的日志文件log4j.properties log4j.rootLogger=${h...

cjun1990
2015/07/27
0
0
hdfs--hadoop--双namenode三datanode

前提:搭建zookeeper集群、java环境、无秘互通注意:文中加粗部分表示需要按实际情况修改的部分> zookeeper可以参考:zookeeper传送门 下载安装包> https://mirrors.tuna.tsinghua.edu.cn/ap...

yr_linux运维
2017/12/27
0
0
第9章-构建Hadoop集群-系统日志文件相关知识点

相关资料:《Hadoop 各种日志文件总结》 1、默认情况下,Hadoop生成的系统日志文件存放在哪儿? 默认情况下,Hadoop生成的系统日志文件存放在$HADOOPINSTALL/logs目录之中。 2、Hadoop系统日...

hiqj
2014/10/16
0
0
hadoop配置文件详解、安装及相关操作

一、 Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加:export JAVA_HOME=/home/Java/jdk1.6 2. 在conf/core-site.xml文件中增加如下内容: <!-- fs.default.name - 这是一个描述集群中...

村长大神
2014/04/10
47
0
hadoop面试记录(二)

最近面试面试题,回答自己总结的,有不对的地方欢迎大家留言指正 1 hadoop中配置文件有哪些,各自作用? hadoop-env.sh JAVAHOME,HADOOPCONFDIR,HADOOPLOGDIR,HADOOPPIDDIR,HADOOPCLASS...

等待救赎
2016/03/22
143
0
hive外部表测试

在hadoop上创建用于存放与hive外部表关联的路径 hadoop fs -mkdir /bigdata/output/MMXKUSER1/train/zjs/test_external 2. 创建hive外部表 beeline create external table tbtestexternal(i......

z_jordon
2015/11/27
93
0
hadoop简单命令

Hadoop 文件命令 * 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt *......

writeademo
2016/07/05
43
0
hdfs详解一

hdfs详解一 1、hdfs的三个进程: NameNode:接受客户端请求、管理hdfs、维护文件元信息和操作日志 DataNode:存储数据块和数据块校验和、通过水平复制使文件冗余度满足要求 Secondary NameNode...

pengzonglu7292
2017/12/19
0
0
MapReduce和Yarn的运行机制详解

今天先简要介绍一下Hadoop中另外两个关键的组成部分:MapReduce和Yarn的运行机制。 首先普及一下概念: HDFS:负责海量数据的存储 MapReduce:负责海量数据的分析和计算 Yarn:负责资源管理调...

LeeWanzhi的博客
2017/12/20
0
0
第9章-构建Hadoop集群-笔记

控制脚本 Hadoop内置一些脚本来运行指令,在集群内启动和终止守护进程。 这些脚本存放在bin目录中,通过masters和slaves文件指定集群内的所有机器。 1、masters文件,主要记录运行辅助namen...

hiqj
2014/09/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

OpenMessaging概览

序 本文主要研究一下OpenMessaging 架构图 namespace,类似cgroup的namespace,用来进行安全隔离,每个namespace有自己的producer、consumer、topic、queue等 producer,消息生产者有两类,一...

go4it
8分钟前
0
0
MySQL索引类型

MySQL目前主要有以下几种索引类型: 1.普通索引 2.唯一索引 3.主键索引 4.组合索引 5.全文索引

灯下草虫鸣_
9分钟前
0
0
spring boot2.x设置quartz对一个job顺序执行

背景 使用quartz时,如果一个job的是1分钟,但是执行却要2分钟,quartz默认的是不会等job执行结束后,再执行下一次job,默认是会再开启一个线程执行该次job,这就可能导致一些重复执行的BUG...

EasyProgramming
14分钟前
0
0
iOS定向阴影的探讨

view.layer.shadowColor = [UIColor blackColor].CGColor; view.layer.shadowOpacity = 0.8f; view.layer.shadowRadius = 4.f; view.layer.shadowOffset = CGSizeMake(0,0); ......

RainOrz
25分钟前
0
0
oracle使用jdbc报错Locale not recognized解决方法

在开启数据库连接之前和之后添加时区参数:

源哥L
30分钟前
0
0
django2.0正则表达

re_path("userdetail-(?P<nid>\d+)/",views.user_detail), 解析时用re_path 否则出现not find page

南桥北木
33分钟前
0
0
Mac 安装jd-gui

安装brew 命令行输入 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 回车 安装jd-gui brew cask install jd-gui......

张欢19933
40分钟前
0
0
占坑

00000000000000000000000000000000000000000000000

钟元OSS
40分钟前
0
0
编程学习读书笔记之jQuery函数应用学习心得(图)

编程学习读书笔记之jQuery函数应用学习心得(图) jQuery.extend() 函数 用于将一个或多个对象的内容合并到目标对象。 1.当提供两个或多个对象给.extend(),对象的所有属性都添加到目标对象(...

原创小博客
42分钟前
0
0
linux 给用户加sudo权限

1、用root帐号登录或者su到root。 2、增加sudoers文件的写权限: chmod u+w /etc/sudoers 3、vim /etc/sudoers 找到 root ALL=(ALL) ALL 在这行下边添加 dituhui ALL=(ALL) ALL (ps:dituhui代...

yeahlife
44分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部