文档章节

设置Hadoop+Hbase集群pid文件存储位置

九劫散仙
 九劫散仙
发布于 2015/10/20 13:47
字数 475
阅读 316
收藏 1
点赞 0
评论 0
有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢? 
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下 

如何配置避免把进程文件写到临时目录下面呢? 

一:Hadoop配置: 

(1)修改hadoop-env.sh 
修改如下,如果没有下面的设置,可以直接添加: 

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
NameNode 
DataNode 
SecondaryNameNode 
进程pid存储 



(2)修改mapred-env.sh 
修改 
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
JobHistoryServer 
进程pid存储 

(3)修改yarn-env.sh 
修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
NodeManager 
ResourceManager 
进程pid存储 


二:Hbase的配置 
修改hbase-env.sh 

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase 


上述配置,影响 
HMaster 
HRegionServer 

进程pid存储 


再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来: 


 




如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关 
进程,这样做比较危险,一般情况不推荐这样做 

参考文章: 
http://blog.csdn.net/xiao_jun_0820/article/details/35222699 

© 著作权归作者所有

共有 人打赏支持
九劫散仙
粉丝 261
博文 175
码字总数 189625
作品 0
海淀
hadoop2集群搭建过程

在这里我选用4台机器进行示范,各台机器的职责如下表格所示 (说明: 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率,又对m...

zouqingyun
2016/03/22
0
0
redis(一)单机部署与应用

本文所有描述均为作者亲自操作后总结出来的,如有疑问可直接留言,将及时回复,如本文理解或描述有误的地方欢迎指出,将及时改正 本章主要描述redis单机的安装部署过程及在Java中的简单使用,...

阿郎_
2017/05/29
0
0
ceph集群配置注意事项

ceph部署环境: 硬件环境。4台4U的服务器,服务器配置信息如下: 1)CPU是Intel Xeon E5-2650(32核心); 2)内存大小是128GB; 3)服务器内共有35块HDD,其中一块HDD用于安装操作系统,另外3...

linuxhunter
2015/12/30
330
0
Hadoop科普文—常见的45个问题解答

1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式 全分布式模式 2. 单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。...

技术mix呢
2017/12/06
0
0
Logstash收集Tomcat集群日志的解决方案

场景描述:一个Web应用,前端设置了8个具有相同配置的Tomcat服务器,跑在Nginx反向代理后。每个Tomcat服务器运行在一个虚拟机上,要求能对Tomcat服务器的访问日志汇总存储并提供一定的分析能...

go2school
2016/05/30
2.9K
2
mongodb 由2.6 升级到3.0

本文主要介绍mongodb3.0的新特性,及具体由2.6 到3.0的升级过程。 mongodb3.0的新特性:参照(http://dataunion.org/12868.html) 1 插件式存储引擎API 类似mysql 的思想。 目前除了早期的M...

robin-yao
2015/08/22
0
0
MMM(MYsql主主复制管理器解决方案

MMM(Masterr-Master Replication Manage for Mysql)MYsql主主复制管理器解决方案实现99%SLA:典型应用是双主多从架构 MMM集群方案将读IP和写IP从数据库层面提取出来,只业务系统中只需调用...

453341288
2016/03/06
232
0
memcached 和它的代理

1.编译libevent ./configure --prefix=xxx make && make install 2.编译memcached ./configure --prefix=xxx make && make install 3.启动memcached 服务器端的命令为: # /usr/local/bin/m......

深蓝苹果
2013/12/24
306
2
redis(二)集群部署详解

本文所有描述均为作者亲自操作后总结出来的,如有疑问可直接留言,将及时回复,如本文理解或描述有误的地方欢迎指出,将及时改正 本章主要描述redis集群的部署,若未搭建redis单机服务的朋友...

阿郎_
2017/05/29
0
0
快速搭建hadoop+hbase分布式集群

hadoop集群部署 1. 准备三台机器,如,, 2. 修改主机名称,配置文件(root用户下操作): Shell代码 # 每台机器执行,我这里hd开头,后边的数字与机器ip的最后一个组一致 hostnamectl set-host...

squanchao
2016/07/28
63
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

about git flow

  昨天元芳做了git分支管理规范的分享,为了拓展大家关于git分支的认知,这里我特意再分享这两个关于git flow的链接,大家可以看一下。 Git 工作流程 Git分支管理策略   git flow本质上是...

qwfys
今天
1
0
Linux系统日志文件

/var/log/messages linux系统总日志 /etc/logrotate.conf 日志切割配置文件 参考https://my.oschina.net/u/2000675/blog/908189 dmesg命令 dmesg’命令显示linux内核的环形缓冲区信息,我们可...

chencheng-linux
今天
1
0
MacOS下给树莓派安装Raspbian系统

下载镜像 前往 树莓派官网 下载镜像。 点击 最新版Raspbian 下载最新版镜像。 下载后请,通过 访达 双击解压,或通过 unzip 命令解压。 检查下载的文件 ls -lh -rw-r--r-- 1 dingdayu s...

dingdayu
今天
0
0
spring boot使用通用mapper(tk.mapper) ,id自增和回显等问题

最近项目使用到tk.mapper设置id自增,数据库是mysql。在使用通用mapper主键生成过程中有一些问题,在总结一下。 1、UUID生成方式-字符串主键 在主键上增加注解 @Id @GeneratedValue...

北岩
今天
2
0
告警系统邮件引擎、运行告警系统

告警系统邮件引擎 cd mail vim mail.py #!/usr/bin/env python#-*- coding: UTF-8 -*-import os,sysreload(sys)sys.setdefaultencoding('utf8')import getoptimport smtplibfr......

Zhouliang6
今天
0
0
Java工具类—随机数

Java中常用的生成随机数有Math.random()方法及java.util.Random类.但他们生成的随机数都是伪随机的. Math.radom()方法 在jdk1.8的Math类中可以看到,Math.random()方法实际上就是调用Random类...

PrivateO2
今天
2
0
关于java内存模型、并发编程的好文

Java并发编程:volatile关键字解析    volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在...

DannyCoder
昨天
0
0
dubbo @Reference retries 重试次数 一个坑

在代码一中设置 成retries=0,也就是调用超时不用重试,结果DEBUG的时候总是重试,不是0吗,0就不用重试啊。为什么还是调用了多次呢? 结果在网上看到 这篇文章才明白 https://www.cnblogs....

奋斗的小牛
昨天
2
0
数据结构与算法3

要抓紧喽~~~~~~~放羊的孩纸回来喽 LowArray类和LowArrayApp类 程序将一个普通的Java数组封装在LowArray类中。类中的数组隐藏了起来,它是私有的,所以只有类自己的方法才能访问他。 LowArray...

沉迷于编程的小菜菜
昨天
0
0
spring boot应用测试框架介绍

一、spring boot应用测试存在的问题 官方提供的测试框架spring-boot-test-starter,虽然提供了很多功能(junit、spring test、assertj、hamcrest、mockito、jsonassert、jsonpath),但是在数...

yangjianzhou
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部