设置Hadoop+Hbase集群pid文件存储位置
设置Hadoop+Hbase集群pid文件存储位置
九劫散仙 发表于2年前
设置Hadoop+Hbase集群pid文件存储位置
  • 发表于 2年前
  • 阅读 274
  • 收藏 1
  • 点赞 0
  • 评论 0
有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢? 
因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是  框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下 

如何配置避免把进程文件写到临时目录下面呢? 

一:Hadoop配置: 

(1)修改hadoop-env.sh 
修改如下,如果没有下面的设置,可以直接添加: 

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase 
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
NameNode 
DataNode 
SecondaryNameNode 
进程pid存储 



(2)修改mapred-env.sh 
修改 
export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
JobHistoryServer 
进程pid存储 

(3)修改yarn-env.sh 
修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

上述配置,影响 
NodeManager 
ResourceManager 
进程pid存储 


二:Hbase的配置 
修改hbase-env.sh 

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase 


上述配置,影响 
HMaster 
HRegionServer 

进程pid存储 


再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来: 


 




如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关 
进程,这样做比较危险,一般情况不推荐这样做 

参考文章: 
http://blog.csdn.net/xiao_jun_0820/article/details/35222699 
标签: hadoop hbase pid
共有 人打赏支持
粉丝 240
博文 126
码字总数 132368
×
九劫散仙
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: