文档章节

Hadoop HDFS 权限配置

 哲行天X
发布于 2017/07/28 17:36
字数 397
阅读 160
收藏 0

参考:

官方文档:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_permissions_guide.html

大数据环境:hadoop2.6.0-cdh5.8.0

目的

给各个业务组提供不同用户及用户组,并有限制的访问hdfs路径。

以便加强安全控制,防止误操作。

hdfs配置参数

dfs.permissions = true

dfs.permissions.supergroup = supergroup

创建用户组

bigdata

esearch

1创建supergroup组用户:

默认启动namenode服务的系统用户为超级用户,如果是通过CM搭建环境,默认是hdfs用户。

hadoopadmin    为hdfs超级用户

2创建bigdata组用户:

大数据团队,开发人员所属组

用户:zhangsan

           lisi   

...

3创建esearch组用户:

搜素团队,开发人员所属组

用户:wangwu

其他:

hdfs 用户启动hadoop集群,默认是超级用户。

指定supergroup为超级用户组,所以该组的用户也是超级用户。

 

权限设置

1 设置hdfs 根目录权限为775

2 设置root用户所属组为root

  sudo gpasswd -a root root

  设置root用户不是hdfs的超级管理员

3 根目录下只保留系统公共目录,用户目录统一设置在/home目录下。

4 其他目录权限逐步收回。

 

hdfs配置权限后,oozie,hue,hive 等相关任务可能会受影响。需要慢慢配置

使用CM搭建环境 操作系统相关用户有 yarn,mapred,hdfs 等等

/tmp的相关权限要设置好,不然会导致oozie任务和yarn控制台,没有权限查看job任务日志。

有点像流水账,希望读者有问题互相沟通,谢谢鼓励。

 

© 著作权归作者所有

共有 人打赏支持
粉丝 0
博文 1
码字总数 397
作品 0
深圳
高级程序员
私信 提问
世界杯项目案例:HDFS分布式文件系统

项目案例:HDFS分布式文件系统 Hadoop的简介: Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行...

我不是九爷
06/21
0
0
mkdir: Permission denied: user=root, access=WRITE

引言:我们在做map reduce的时候遇到这种问题,用他指定的用户去执行mapreduce就行。比如他要求hdfs,我们就用hdfs用户执行,代码如下: System.setProperty("HADOOPUSERNAME", "hdfs"); 第一...

小叮当_加V
2015/10/20
61
1
Hadoop集群权限框架--Apache Ranger

Apache ranger是一个Hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的Hadoop生态圈的所有数据权限。 Apache Ranger可以对Hadoop生态的组...

匿名
2016/08/04
8.1K
4
hadoop部署完全分布式简要步骤

1、配置hosts文件为建立无密钥通信做准备 master,slave1,slave2都要做相同的配置 2、配置SSH无密钥通信双方互相通信 注意关闭防火墙和配置hosts network 要设置DNS和网关 通信原理让双方持有...

蓝狐乐队
2014/04/10
0
0
Hadoop 2.x 安装

一、安装配置 1.创建hadoop用户(我是添加到root group,也可以新增hadoop group) [root@hftclclw0001 ~]# useradd hadoop[root@hftclclw0001 ~]# usermod -g root [root@hftclclw0001 ~]# ca......

HarryWu
2015/10/21
409
0

没有更多内容

加载失败,请刷新页面

加载更多

新手也能看懂,消息队列其实很简单

该文已加入开源项目:JavaGuide(一份涵盖大部分Java程序员所需要掌握的核心知识的文档类项目,Star 数接近 16k)。地址:https://github.com/Snailclimb/JavaGuide. 本文内容思维导图: 消息...

阿里云官方博客
28分钟前
4
0
如何在Chrome浏览器中启动deviceready事件(尝试调试phonegap项目)?

我正在开发PhoneGap应用程序,我希望能够在Chrome中调试它,而不是在电话上调试。但是,我在onGetReady()函数中初始化我的代码,该函数在PhoneGap触发“deviceready”事件时触发。由于Chr...

kisshua
今天
9
0
nginx中部署vue打包后的静态文件

如何在nginx中部署静态资源就不描述了, 请看我的这篇博客 将vue脚手架项目打包后的静态文件放到nginx上, 发现有个问题, 即url上有#, 怎么去掉这个#呢. 1 项目中router的mode 路由的mode要为h...

克虏伯
今天
13
0
JS容易理解错误的地方

在这端代码执行的末尾,你会不会hi变量回事函数中的hi了?你会不会认为这不是按引用传递了? 对值传递和引用传递产生质疑了? 1 var hi = {};2 function sayHello(hi) { ...

器石_
今天
10
0
Java开发学习--MongoDB

之前只学过sql,第一次使用非关系型数据库。以前对于关系型数据库与非关系型数据库的概念很模糊,通过这次的学习对这两者有了一个清晰的概念。 主键 在MongoDB中,主键名叫"_id",如果在生成...

微笑向暖wx
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部