文档章节

Hadoop 各种日志文件总结

hiqj
 hiqj
发布于 2014/10/16 21:59
字数 546
阅读 281
收藏 0

参考资料:hadoop 日志存放位置

1、Hadoop MapReduce日志分类

1)、服务日志

2)、作业日志

2、Hadoop 1.x版本中MapReduce的服务日志包括?

1)、JobTracker日志

JobTracker:在JobTracker安装节点上,默认位置是
        ${hadoop.log.dir}/logs/*-jobtracker-*.log,该文件每天生成一个,旧的日志后缀是日期,当天的日志文件后缀是“.log”,其中${hadoop.log.dir}默认值是hadoop安装目录,即${HADOOP_HOME}。

2)、各个TaskTracker日志

TaskTracker:在各个TaskTracker安装节点上,默认位置是
    $HADOOP_HOME/logs/*-tasktracker-*.log,该文件每天生成一个,旧的日志后面会跟一个日志,当天的日志文件后缀是“.log”

3、作业日志包括哪两部分日志?

    作业日志包括jobhistory日志和task日志两部分

4、jobhistory日志的作用?

    jobhistory日志是作业运行日志,包括作业启动时间、结束时间、每个任务的启动时间、结束时间、各种counter信息等,用户可以从这个日志中解析出作业运行的各种信息,是非常有价值的信息

5、jobhistory日志默认存放位置?

    默认存放位置是JobTracker所在节点的${hadoop.log.dir}/history目录下

6、jobhistory日志存放位置可通过什么选项配置?

    可通过参数hadoop.job.history.location配置。

7、task日志存放位置?

    每个task日志存放在task运行节点上,存放位置是${hadoop.log.dir}/userlogs//目录下。

8、每个task日志包含哪几个子文件?

    每个task包含三个日志文件,分别是stdout、stderr和syslog

    1)、stdout

    stdout:是通过标准输出打印出来的日志。

    比如System.out.println,注意,程序中通过标准输出打印的日志并不会直接显示在终端上,而是保存在这个文件中。

    2)、syslog

    syslog是通过log4j打印的日志,通常这个日志中包含的有用信息最多,也是错误调试中最关键的参考日志。



© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
第9章-构建Hadoop集群-系统日志文件相关知识点

相关资料:《Hadoop 各种日志文件总结》 1、默认情况下,Hadoop生成的系统日志文件存放在哪儿? 默认情况下,Hadoop生成的系统日志文件存放在$HADOOPINSTALL/logs目录之中。 2、Hadoop系统日...

hiqj
2014/10/16
68
0
分布式离线/实时日志统计系统(Hadoop.Spark)

概要 本文总结采用目前最流行的Hadoop生态圈和Spark生态圈搭建一套完整的分布式日志采集系统,支持离线和实时计算,可以满足多种需求,例如PV,UV,实时交易量等各个业务下的场景。 项目架构...

热血沸腾
2017/12/24
0
0
hadoop环境搭建总结

最近一段时间在看Hadoop The Definitive Guide, 3rd Edition.pdf,学习hadoop,个人想不能总看书,不实践呀,于是准备搭建一套开发环境,果然遇到很多问题,最终调试出了运行结果,在此记录。...

火镜先生
2016/02/18
676
0
sqoop2基本架构、部署和个人使用感受

一、概述 随着公司集群升级到2.x,hadoop周边的一些工具也进行了版本的更新。这次主要说说sqoop2的升级和部署,其中sqoop1和sqoop2基本框架和用法发生翻天覆地的改变,其对版本的向下兼容做的...

zengzhaozheng
2018/07/02
0
0
Hadoop集群搭建-03编译安装hadoop

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 hadoop的编译和安装是直接...

虚拟世界的懒猫
2019/07/22
208
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 谨以此文怀念逝去的人

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 今天没歌曲 手机党少年们想听歌,请使劲儿戳(这里) 今天是周六, 刚想开始写乱弹的时候, 翻到了巴叔新建的话题上, @ 巴拉迪维:宏哥,一路...

小小编辑
今天
25
4
判断php变量是否定义,是否为空,是否为真的一览表

使用 PHP 函数对变量 $x 进行比较 表达式 gettype() empty() is_null() isset() boolean : if($x) $x = ""; string TRUE FALSE TRUE FALSE $x = null; NULL TRUE TRUE FALSE FALSE var $x; N......

Grayk
今天
19
0
服务器监控

1. 服务器监控内容有哪些? 答: 主要有服务监控 和 流量监控 2. 监控重点是? 答: 是 磁盘 和 流量,cpu是浮动的,意义不大 3. 怎样 实现 监控? 答:将 服务器 分为:监控者 和 被监管协议...

杨凯123
昨天
246
0
Apollo开发指南

一、准备工作 二、本地启动 2.1 Apollo Config Service和Apollo Admin Service 2.2 Apollo-Portal 2.3 Java样例客户端启动 2.4 .Net样例客户端启动 三、开发 3.1 Portal 实现用户登录功能 3....

Ciet
昨天
307
0
英文词汇 计算机网络中的专业英语单词及其缩写

学习计算机网络时,会阅读相关的专业文献。对于文献中经常出现的缩写形式的专业名词,做了一些积累。现于此博文中做个简单的分享,希望能对后来人有所帮助,平稳地入门计算机网络。 注:博文...

志成就
昨天
186
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部