文档章节

Hadoop学习-HDFS权限控制

Endless2010
 Endless2010
发布于 2017/08/25 23:24
字数 315
阅读 63
收藏 0

HDFS文件权限

HDFS文件和目录的权限控制和Linux系统类似,有chmod,chown,chgrp几个命令可以修改权限和所有者.

  • hadoop fs -chmod 750 /user/endless
  • hadoop fs -chown -R test1:group1 /user/test1
  • hadoop fs -chown test2 /user/test2
  • hadoop fs -chgrp group2 /user/test2

输入图片说明

创建几个用户测试, 其中endless是安装和创建HDFS的用户,所属的组为supergroup,相当于是root,可以查看和删除HDFS上所有文件,/user/endless的权限是750,所以test1没有权限读取这个目录

  • [root@linux ~]#groupadd group1
  • [root@linux ~]#groupadd group2
  • [root@linux ~]#groupadd supergroup
  • [root@linux ~]#useradd test1 -G group1
  • [root@linux ~]#useradd test2 -G group2

输入图片说明

HDFS用户权限

上面的是HDFS中目录和文件的权限,还可以控制用户权限,即只让一些用户和组有权限访问HDFS,比如配置了endless和test1,那么test2就访问不了HDFS,/user/test2目录也访问不了。 HDFS默认是不启动用户权限,在core-site.xml中配置hadoop.security.authorization为true开启,其中允许的用户在hadoop-policy.xml中配置

输入图片说明 输入图片说明

修改完core-site.xml要重启HDFS,但如果仅仅修改hadoop-policy.xml则不需要重启,执行下面命令即可生效: hadoop dfsadmin -refreshServiceAcl 或 hdfs dfsadmin -refreshServiceAcl

输入图片说明

test2用户试图访问HDFS会报错: 输入图片说明

© 著作权归作者所有

共有 人打赏支持
Endless2010
粉丝 1
博文 36
码字总数 23027
作品 0
南京
程序员
私信 提问
Hadoop集群权限框架--Apache Ranger

Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组...

匿名
2016/08/04
8.1K
4
Apache Ranger——Hadoop集群权限框架

Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组...

oschina
2016/08/05
39
0
Hadoop Sentry 学习

什么是Sentry? Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权 通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户的...

幽芒
2014/08/06
0
0
mkdir: Permission denied: user=root, access=WRITE

引言:我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下: System.setProperty("HADOOPUSERNAME", "hdfs"); 第一...

小叮当_加V
2015/10/20
61
1
Ranger-Hdfs插件安装

Ranger-Hdfs插件ranger-0.6.0-hdfs-plugin安装到Hdfs的所有NameNode节点, 其他的DataNode节点不需要安装。 1. 登陆hdfs安装的用户,hdfs/zdh1234(用户组hadoop),获取安装包解压安装 tar –z...

木木与呆呆
04/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

微信开发--测试账号相关

1、微信公众平台选择代码开发后,其平台上的部分功能会不可用 可在开发者工具中选择开通测试账号,进行相关的功能调试(测试账号出微信支付不可调试外,其他功能基本上都可以调试) 2、测试账号...

Code辉
2分钟前
0
0
Nginx配置upstream实现负载均衡

使用Nginx配置upstream实现负载均衡: 1. 在http节点下,添加upstream节点。 upstream test { server 192.168.1.100:8080; server 192.168.1.101:8081; } 2. 将server节点下的location节点中......

littlemesieV
3分钟前
0
0
库存系统实现

前言 最近在重构之前系统中的库存处理逻辑。 老的系统中库存处理逻辑只是一个类里面的几个方法,同时是直连DB操作,有缓存处理,但是在数据一致性保障上并没有特别的可靠。 随着运营投入的越...

春哥大魔王的博客
4分钟前
0
0
如何对网站进行归档

我最近深入研究了网站归档,因为有些朋友担心遇到糟糕的系统管理或恶意删除时失去对放在网上的内容的控制权。这使得网站归档成为系统管理员工具箱中的重要工具。事实证明,有些网站比其他网站...

linuxprobe16
13分钟前
0
0
VMware前路难测,多个厂家群雄逐鹿

在人们高谈Salesforce、亚马逊等新兴云计算厂商取得的成就时,以VMware、HPE和Cisco为代表的老牌厂商也在进行着自己的转型和变化,而且还取得一定的进展。以VMware为例,虚拟机巨头公布了第二...

linux-tao
22分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部