Hadoop HDFS 权限配置
Hadoop HDFS 权限配置
哲行天X 发表于10个月前
Hadoop HDFS 权限配置
  • 发表于 10个月前
  • 阅读 63
  • 收藏 0
  • 点赞 0
  • 评论 0

移动开发云端新模式探索实践 >>>   

参考:

官方文档:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html

大数据环境:hadoop2.6.0-cdh5.8.0

目的

给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径。

以便加强安全控制,防止误操作。

hdfs配置参数

dfs.permissions = true

dfs.permissions.supergroup = supergroup

创建用户组

bigdata

esearch

1创建supergroup组用户:

默认启动namenode服务的系统用户为超级用户,如果是通过CM搭建环境,默认是hdfs用户。

hadoopadmin    为hdfs超级用户

2创建bigdata组用户:

大数据团队,开发人员所属组

用户:zhangsan

           lisi   

...

3创建esearch组用户:

搜素团队,开发人员所属组

用户:wangwu

其他:

hdfs 用户启动hadoop集群,默认是超级用户。

指定supergroup为超级用户组,所以该组的用户也是超级用户。

 

权限设置

1 设置hdfs 根目录权限为775

2 设置root用户所属组为root

  sudo gpasswd -a root root

  设置root用户不是hdfs的超级管理员

3 根目录下只保留系统公共目录,用户目录统一设置在/home目录下。

4 其他目录权限逐步收回。

 

hdfs配置权限后,oozie,hue,hive 等相关任务可能会受影响。需要慢慢配置

使用CM搭建环境 操作系统相关用户有 yarn,mapred,hdfs 等等

/tmp的相关权限要设置好,不然会导致oozie任务和yarn控制台,没有权限查看job任务日志。

有点像流水账,希望读者有问题互相沟通,谢谢鼓励。

 

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 0
博文 1
码字总数 397
×
哲行天X
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: