文档章节

Hadoop HDFS 权限配置

 哲行天X
发布于 2017/07/28 17:36
字数 397
阅读 88
收藏 0

参考:

官方文档:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html

大数据环境:hadoop2.6.0-cdh5.8.0

目的

给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径。

以便加强安全控制,防止误操作。

hdfs配置参数

dfs.permissions = true

dfs.permissions.supergroup = supergroup

创建用户组

bigdata

esearch

1创建supergroup组用户:

默认启动namenode服务的系统用户为超级用户,如果是通过CM搭建环境,默认是hdfs用户。

hadoopadmin    为hdfs超级用户

2创建bigdata组用户:

大数据团队,开发人员所属组

用户:zhangsan

           lisi   

...

3创建esearch组用户:

搜素团队,开发人员所属组

用户:wangwu

其他:

hdfs 用户启动hadoop集群,默认是超级用户。

指定supergroup为超级用户组,所以该组的用户也是超级用户。

 

权限设置

1 设置hdfs 根目录权限为775

2 设置root用户所属组为root

  sudo gpasswd -a root root

  设置root用户不是hdfs的超级管理员

3 根目录下只保留系统公共目录,用户目录统一设置在/home目录下。

4 其他目录权限逐步收回。

 

hdfs配置权限后,oozie,hue,hive 等相关任务可能会受影响。需要慢慢配置

使用CM搭建环境 操作系统相关用户有 yarn,mapred,hdfs 等等

/tmp的相关权限要设置好,不然会导致oozie任务和yarn控制台,没有权限查看job任务日志。

有点像流水账,希望读者有问题互相沟通,谢谢鼓励。

 

© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 1
码字总数 397
作品 0
深圳
高级程序员
世界杯项目案例:HDFS分布式文件系统

项目案例:HDFS分布式文件系统 Hadoop的简介: Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行...

我不是九爷
06/21
0
0
mkdir: Permission denied: user=root, access=WRITE

引言:我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下: System.setProperty("HADOOPUSERNAME", "hdfs"); 第一...

小叮当_加V
2015/10/20
61
1
windows eclipse远程连接hadoop集群并提交任务运行

1 下载插件 hadoop-eclipse-plugin-2.5.1.jar 从网上下载对应版本的插件,http://download.csdn.net/detail/tondayong1981/7920973 2 配置插件 把插件放到..eclipseplugins目录下,重启eclip...

张欢19933
2016/02/25
506
0
Hadoop 2.x 安装

一、安装配置 1.创建hadoop用户(我是添加到root group,也可以新增hadoop group) [root@hftclclw0001 ~]# useradd hadoop[root@hftclclw0001 ~]# usermod -g root [root@hftclclw0001 ~]# ca......

HarryWu
2015/10/21
409
0
Hadoop集群权限框架--Apache Ranger

Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组...

匿名
2016/08/04
8.1K
4

没有更多内容

加载失败,请刷新页面

加载更多

下一页

dubbo部分常见的面试题目

1、什么是AMQP协议? AMQP的全称是 Advanced Message Queuing Protocol (高级消息队列协议) 他是应用层协议的一个开放的标准,为面向消息中间件而设计,基于此协议的客户端和消息中间件可以...

DemonsI
9分钟前
0
0
http和https协议

HTTPS全称为Hypertext Transfer Protocol over Secure Socket Layer,中文含义为“超文本传输协议在安全加密字层”,简单来说就是加密数据传输,通俗的说就是安全连接。 HTTPS安全超文本传输...

寰宇01
10分钟前
0
0
vue内引入语音播报功能

在vue项目中引入语音播报,使用的科大讯飞语音接入, 具体思路为每次接收到语音信息后存入一个数组,然后监听这个数组,开始冲第一个索引播放,并且同时根据vuex getter 来动态删减数量 给a...

originDu
19分钟前
0
0
Java创建对象的五种方式

一、使用new关键字,调用构造方法创建对象 Person p1 = new Person(); 运行过程: 1、给新对象分配内存空间,将数据存储到堆。 2、执行显示的初始化。 3、执行构造器。new方法中括号参数传递...

Drathin
19分钟前
0
0
git使用纪要

之前公司一直没用git,于是自己注册了一个账号自己用,因为也没人合作,所以也没太关注协作方面的事情。最近公司终于想通了,开始用git,于是研究了一下,在此做个记录。 git功能非常灵活,因...

propagator
24分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部