文档章节

Hadoop HDFS 权限配置

 哲行天X
发布于 2017/07/28 17:36
字数 397
阅读 120
收藏 0

参考:

官方文档:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html

大数据环境:hadoop2.6.0-cdh5.8.0

目的

给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径。

以便加强安全控制,防止误操作。

hdfs配置参数

dfs.permissions = true

dfs.permissions.supergroup = supergroup

创建用户组

bigdata

esearch

1创建supergroup组用户:

默认启动namenode服务的系统用户为超级用户,如果是通过CM搭建环境,默认是hdfs用户。

hadoopadmin    为hdfs超级用户

2创建bigdata组用户:

大数据团队,开发人员所属组

用户:zhangsan

           lisi   

...

3创建esearch组用户:

搜素团队,开发人员所属组

用户:wangwu

其他:

hdfs 用户启动hadoop集群,默认是超级用户。

指定supergroup为超级用户组,所以该组的用户也是超级用户。

 

权限设置

1 设置hdfs 根目录权限为775

2 设置root用户所属组为root

  sudo gpasswd -a root root

  设置root用户不是hdfs的超级管理员

3 根目录下只保留系统公共目录,用户目录统一设置在/home目录下。

4 其他目录权限逐步收回。

 

hdfs配置权限后,oozie,hue,hive 等相关任务可能会受影响。需要慢慢配置

使用CM搭建环境 操作系统相关用户有 yarn,mapred,hdfs 等等

/tmp的相关权限要设置好,不然会导致oozie任务和yarn控制台,没有权限查看job任务日志。

有点像流水账,希望读者有问题互相沟通,谢谢鼓励。

 

© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 1
码字总数 397
作品 0
深圳
高级程序员
世界杯项目案例:HDFS分布式文件系统

项目案例:HDFS分布式文件系统 Hadoop的简介: Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行...

我不是九爷
06/21
0
0
mkdir: Permission denied: user=root, access=WRITE

引言:我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下: System.setProperty("HADOOPUSERNAME", "hdfs"); 第一...

小叮当_加V
2015/10/20
61
1
Hadoop集群权限框架--Apache Ranger

Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组...

匿名
2016/08/04
8.1K
4
Hadoop 2.x 安装

一、安装配置 1.创建hadoop用户(我是添加到root group,也可以新增hadoop group) [root@hftclclw0001 ~]# useradd hadoop[root@hftclclw0001 ~]# usermod -g root [root@hftclclw0001 ~]# ca......

HarryWu
2015/10/21
409
0
windows eclipse远程连接hadoop集群并提交任务运行

1 下载插件 hadoop-eclipse-plugin-2.5.1.jar 从网上下载对应版本的插件,http://download.csdn.net/detail/tondayong1981/7920973 2 配置插件 把插件放到..eclipseplugins目录下,重启eclip...

张欢19933
2016/02/25
506
0

没有更多内容

加载失败,请刷新页面

加载更多

DeepMind 开源图神经网络的代码

用于支持论文《Relational inductive biases, deep learning, and graph networks》。 github A graph network takes a graph as input and returns a graph as output. The input graph has......

shengjuntu
6分钟前
0
0
python2编码详解、一

以前使用python3没觉的什么,跟着公司使用python2后被编码问题折磨的痛不欲生,好好研究了一下编码问题,参考了很多博文,加入自己的理解,这里只是对编码的介绍,下一篇是python2中编码问题...

hc321
15分钟前
0
0
基于OpenSSL的一些常用加密签名算法

目前包括:MD5、SHA512、DES、RSA加解密、RSA+MD5签名验证算法,在openssl基础上再进行封装,使用简单,头文件需要包含openssl库,可以使用vcpkg自动管理,省去繁琐的配置工程的过程。 该RSA...

LoSingSang
23分钟前
0
0
spring Data JPA

什么是JPA? 全称Java Persistence API,可以通过注解或者XML描述【对象-关系表】之间的映射关系,并将实体对象持久化到数据库中。 为我们提供了: 1)ORM映射元数据:JPA支持XML和注解两种元...

狼王黄师傅
28分钟前
0
0
微信小程序 - 使用七牛云 API 截取第 n 秒图像为封面图

前面分享过七牛的上传操作,在这里说下使用七牛 api 对视频在页面的处理,比如你的视频上传之后获取七牛视频链接,这时候你怎么展示它呢? 在页面可以使用小程序提供的原生组件 video ,可以...

几个栗子
31分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部