文档章节

第9章-构建Hadoop集群-系统日志文件相关知识点

hiqj
 hiqj
发布于 2014/10/16 22:28
字数 523
阅读 58
收藏 1

相关资料:《Hadoop 各种日志文件总结

1、默认情况下,Hadoop生成的系统日志文件存放在哪儿?

    默认情况下,Hadoop生成的系统日志文件存放在$HADOOP_INSTALL/logs目录之中。

2、Hadoop系统日志文件存放位置在哪儿修改?

    默认系统日志在在$HADOOP_INSTALL/logs目录,也可通过hadoop-env.sh文件的HADOOP_LOG_DIR修改。

3、为什么建议修改Hadoop系统日志文件默认配置,使之独立于Hadoop安装目录?

    建议修改默认配置,使之独立于Hadoop的安装目录。这样的话,即使Hadoop升级之后安装路径发生变化,也不会影响日志文件的位置。

    通常可以将日志文件存放在/var/log/hadoop目录中。实现方法:

    在hadoop-env.sh中加入行:export HADOOP_LOG_DIR=/var/log/hadoop

4、Hadoop守护进程会产生两类日志文件

    各台机器上的各个Hadoop守护进程均会产生两类日志文件:

1)、以.log作为后缀名通过log4j记录的

5、在对问题进行故障诊断时,需要先查看哪个日志文件?

    鉴于大部分应用程序的日志消息都写到以.log作为后缀名通过log4j记录的日志文件中,在对问题进行故障诊断时需要先查看这个文件。

6、标准的Hadoop log4j配置采用何种策略来命名日志文件?

    标准的Hadoop log4j配置采用日常滚动文件后缀策略(Daily Rolling File Appender)来命名日志文件(即:首先设定一个日期模式,例如“yyyy-mm-dd";在某一天产生的日志文件就在名称前缀后面添加一个遵循日期模式的后缀名)。

7、系统会自动删除过期的日志文件吗?

    系统并不自动删除过期的日志文件,而是留待用户定期删除或存档,以节约本地磁盘空间。



© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
第9章-构建Hadoop集群-笔记

控制脚本 Hadoop内置一些脚本来运行指令,在集群内启动和终止守护进程。 这些脚本存放在bin目录中,通过masters和slaves文件指定集群内的所有机器。 1、masters文件,主要记录运行辅助namen...

hiqj
2014/09/15
226
0
阿里大牛力荐6篇实战文档:JVM+多线程+Kafka+Redis+Nginx+MySQL

深入理解Java虚拟机:JVM高级特性与最佳实践 第一部分 走近Java 第1章 走近Java 第二部分 自动内存管理机制 第2章 Java内存区域与内存溢出异常 第3章 垃圾收集器与内存分配策略 第4章 虚拟机...

Java微服务
07/16
0
0
【电子书】Hadoop实战手册 (样章第一章)

Hadoop实战手册 [美] Jonathan R. Owens,Jon Lentz,Brian Femiano 著; 傅杰,赵磊,卢学裕 译 内容简介   这是一本Hadoop实用手册,主要针对实际问题给出相应的解决方案。《Hadoop实战手...

dwf07223
2018/06/28
0
0
新书《高性能网站架构实战》前言 (部分)

我的系统运维观 我做系统运维工作也好几年了,基本上应付过各种各样的运维环境和工具。从最开始简单的各种应用部署,比如常用的LVS、HAproxy这样的负载应用、Apache、Nginx这类的Web应用,到...

单身贵族liu
2012/11/15
0
0
学习Hadoop资料分享

最近一直在学习Hadoop,没办法,工作需要,最近在网上收集资料时,看到了一个课程,叫Cloudera Hadoop 4系列实战课程(电商业日志流量分析项目),把课程内容的大概给大家看一下,有40课时,看...

adiykk
2013/06/19
952
5

没有更多内容

加载失败,请刷新页面

加载更多

Mysql的sql_mode模式

sql_mode 是一个很容易被忽视的配置,宽松模式下可能会被输入一些非准确数据,所以生产环境下会要求为严格模式,为了保持生产环境和开发环境,测试环境一致性,我们开发环境和测试环境也要配...

贾峰uk
23分钟前
2
0
Qt程序打包发布方法(使用官方提供的windeployqt工具)

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/toTheUnknown/article/details/81748179 如果使用到了Qt ...

shzwork
52分钟前
7
0
MainThreadSupport

MainThreadSupport EventBus 3.0 中的代码片段. org.greenrobot.eventbus.MainThreadSupport 定义一个接口,并给出默认实现类. 调用者可以在EventBus的构建者中替换该实现. public interface ...

马湖村第九后羿
今天
3
0
指定要使用的形状来代替文字的显示

控制手机键盘弹出的功能只能在ios上实现,安卓是实现不了的,所以安卓只能使用type类型来控制键盘类型,例如你要弹出数字键盘就使用type="number",如果要弹出电话键盘就使用type="tel",但这...

前端老手
今天
8
0
总结:Raft协议

一、Raft协议是什么? 分布式一致性算法。即解决分布式系统中各个副本数据一致性问题。 二、Raft的日志广播过程 发送日志到所有Followers(Raft中将非Leader节点称为Follower)。 Followers收...

浮躁的码农
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部