文档章节

Hadoop学习-HDFS权限控制

Endless2010
 Endless2010
发布于 2017/08/25 23:24
字数 315
阅读 19
收藏 0
点赞 0
评论 0

HDFS文件权限

HDFS文件和目录的权限控制和Linux系统类似,有chmod,chown,chgrp几个命令可以修改权限和所有者.

  • hadoop fs -chmod 750 /user/endless
  • hadoop fs -chown -R test1:group1 /user/test1
  • hadoop fs -chown test2 /user/test2
  • hadoop fs -chgrp group2 /user/test2

输入图片说明

创建几个用户测试, 其中endless是安装和创建HDFS的用户,所属的组为supergroup,相当于是root,可以查看和删除HDFS上所有文件,/user/endless的权限是750,所以test1没有权限读取这个目录

  • [root@linux ~]#groupadd group1
  • [root@linux ~]#groupadd group2
  • [root@linux ~]#groupadd supergroup
  • [root@linux ~]#useradd test1 -G group1
  • [root@linux ~]#useradd test2 -G group2

输入图片说明

HDFS用户权限

上面的是HDFS中目录和文件的权限,还可以控制用户权限,即只让一些用户和组有权限访问HDFS,比如配置了endless和test1,那么test2就访问不了HDFS,/user/test2目录也访问不了。 HDFS默认是不启动用户权限,在core-site.xml中配置hadoop.security.authorization为true开启,其中允许的用户在hadoop-policy.xml中配置

输入图片说明 输入图片说明

修改完core-site.xml要重启HDFS,但如果仅仅修改hadoop-policy.xml则不需要重启,执行下面命令即可生效: hadoop dfsadmin -refreshServiceAcl 或 hdfs dfsadmin -refreshServiceAcl

输入图片说明

test2用户试图访问HDFS会报错: 输入图片说明

© 著作权归作者所有

共有 人打赏支持
Endless2010
粉丝 1
博文 25
码字总数 23027
作品 0
南京
程序员
Hadoop Sentry 学习

什么是Sentry? Sentry 是Cloudera 公司发布的一个Hadoop开源组件,它提供细粒度基于角色的安全控制 Sentry下的数据访问和授权 通过引进Sentry,Hadoop目前可在以下方面满足企业和政府用户的...

幽芒 ⋅ 2014/08/06 ⋅ 0

Hadoop集群权限框架--Apache Ranger

Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组...

匿名 ⋅ 2016/08/04 ⋅ 4

Apache Ranger——Hadoop集群权限框架

Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组...

oschina ⋅ 2016/08/05 ⋅ 0

mkdir: Permission denied: user=root, access=WRITE

引言:我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下: System.setProperty("HADOOPUSERNAME", "hdfs"); 第一...

小叮当_加V ⋅ 2015/10/20 ⋅ 1

Ranger-Hdfs插件安装

Ranger-Hdfs插件ranger-0.6.0-hdfs-plugin安装到Hdfs的所有NameNode节点, 其他的DataNode节点不需要安装。 1. 登陆hdfs安装的用户,hdfs/zdh1234(用户组hadoop),获取安装包解压安装 tar –z...

木木与呆呆 ⋅ 04/26 ⋅ 0

Hadoop之MapReduce的Java实现

今天将为大家演示一下,Hadoop中MR用Java是如何编码实现的。 1.环境准备 1.1 需要把下载的hadoop包解压到windows目录下,注意不要有空格目录或者中文字符 image.png 1.2 配置环境变量 配置系...

landy8530 ⋅ 2017/11/25 ⋅ 0

hadoop伪分布式的安装

hadoop伪分布式一般用于学习和测试.生产环境一般不使用. (如有错误,欢迎批评指正) 1.安装环境 在windows系统上安装linux系统,以CenOS为例.hadoop版本是hadoop1.1.2 2.配置linux虚拟机 2.1确保...

迪allen ⋅ 2014/03/20 ⋅ 0

Hadoop Shell命令官网翻译

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html#Overview FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的......

AWDT ⋅ 2014/12/03 ⋅ 0

Hadoop安全管理(1)

Hadoop安全问题: 1:非法的slave节点添加 2:非法的客户端添加 3:非法的应用添加 4:用法身份造假 5:Web界面随意访问 究其原因还是安全的问题 默认支持的安全协议 1:simple,简单,适合单...

lixiyuan ⋅ 2015/08/10 ⋅ 1

hadoop 常见错误(1)

异常: 参考博客《Hadoop常见问题搜集》 root账户下启动hadoop(前提是hadoop权限账户不是root账户),终止后切换到hadoop账户,会出现Permission Denied 2013-08-06 09:51:50,882 ERROR org...

hiqj ⋅ 2014/04/18 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 31分钟前 ⋅ 0

Python模块/包/库安装(6种方法)

Python模块/包/库安装(6种方法) 冰颖机器人 2016-11-29 21:33:26 一、方法1: 单文件模块 直接把文件拷贝到 $python_dir/Lib 二、方法2: 多文件模块,带setup.py 下载模块包(压缩文件zip...

cswangyx ⋅ 51分钟前 ⋅ 0

零基础学习大数据人工智能,学习路线篇!系统规划大数据之路?

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经...

董黎明 ⋅ 59分钟前 ⋅ 0

openJdk和sun jdk的区别

使用过LINUX的人都应该知道,在大多数LINUX发行版本里,内置或者通过软件源安装JDK的话,都是安装的OpenJDK, 那么到底什么是OpenJDK,它与SUN JDK有什么关系和区别呢? 历史上的原因是,Ope...

jason_kiss ⋅ 今天 ⋅ 0

梳理

Redux 是 JavaScript 状态容器,提供可预测化的状态管理。 它是JS的状态容器,是一种解决问题的方式,所以即可以用于 react 也可以用于 vue。 需要理解其思想及实现方式。 应用中所有的 stat...

分秒 ⋅ 今天 ⋅ 0

Java 后台判断是否为ajax请求

/** * 是否是Ajax请求 * @param request * @return */public static boolean isAjax(ServletRequest request){return "XMLHttpRequest".equalsIgnoreCase(((HttpServletReques......

JavaSon712 ⋅ 今天 ⋅ 0

Redis 单线程 为何却需要事务处理并发问题

Redis是单线程处理,也就是命令会顺序执行。那么为什么会存在并发问题呢? 个人理解是,虽然redis是单线程,但是可以同时有多个客户端访问,每个客户端会有 一个线程。客户端访问之间存在竞争...

码代码的小司机 ⋅ 今天 ⋅ 0

到底会改名吗?微软GVFS 改名之争

微软去年透露了 Git Virtual File System(GVFS)项目,GVFS 是 Git 版本控制系统的一个开源插件,允许 Git 处理 TB 规模的代码库,比如 270 GB 的 Windows 代码库。该项目公布之初就引发了争...

linux-tao ⋅ 今天 ⋅ 0

笔试题之Java基础部分【简】【二】

1.静态变量和实例变量的区别 在语法定义上的区别:静态变量前要加static关键字,而实例变量前则不加。在程序运行时的区别:实例变量属于某个对象的属性,必须创建了实例对象,其中的实例变...

anlve ⋅ 今天 ⋅ 0

Lombok简单介绍及使用

官网 通过简单注解来精简代码达到消除冗长代码的目的 优点 提高编程效率 使代码更简洁 消除冗长代码 避免修改字段名字时忘记修改方法名 4.idea中安装lombnok pom.xml引入 <dependency> <grou...

to_ln ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部