文档章节

MaxCompute和DataIDE权限体系介绍

 爱哭的小魔女
发布于 2017/07/31 16:10
字数 2155
阅读 1
收藏 0

原文链接

 

摘要: 理解大数据开发套件和大数据计算服务的权限体系。

产品关系

MaxCompute是阿里云自主研发的大数据计算引擎。通过MaxCompute,可以使用SQL、MapReduce和Graph的计算模型处理海量数据。产品还提供了机器学习的功能,并包装成机器学习这个产品对外提供服务。用户使用MaxCompute,不需要关心底层的分布式计算细节,就可以轻松地处理海量数据。

但是直接用MaxCompute也一些不方便之处,比如需要更方便地进行开发代码的管理、进行数据的导入导出、设置任务的定时调度以及上下游依赖、管理任务的运行情况并做好异常报警、需要简单方便的元数据的管理以及我们这次要讲的更方便的数据权限设置。为此诞生了大数据开发套件(Data IDE)这个产品。Data IDE在MaxComput外面又包了一层。用户不需要直接去操作MaxComupt,只需要在Data IDE上做操作就可以了,大大简化了数据仓库搭建的过程。时候,我们甚至会称Data IDE是MaxCompte的开发工具。

MaxCompte作为计算引擎,本身就一套健的安规则和权限体系。这些权限设置,足够让用户只能访问到他被授权的那些数据。在此基础上,Data IDE提供了一套自己的权限体系,包含Data IDE上的模块的授权和MaxCompte上的授权。通过在Data IDE上做配置,就能很方便的给账号授予对应的MaxCompte权限。以下我们分别对这两个产品做一些说明。

MaxCompute 权限设置

MaxCompute在添加一个用户后,可以对用户通过ACL直接授权、基于角色的ACL授权、Policy授权、Package授权,使其获得对应的权限。其中ACL直接授权、基于角色的ACL授权是目前对外提供的权限控制方法。Policy授权、Package授权这两个功能,目前还是在内部测试阶段,公共云上的MaxCompute的文档里暂时还没提供,但不排除以后会提供的可能。

添加用户

MaxCompute需要把某个具体的云账号添加到项目里后才能对这个账号进行授权。MaxComupte本身支持对具体的某个云账号,或者本主账号下的其他子账号进行授权。不过后面的大数据开发套件就只支持本账号下的子账号。

添加的方式为

  • 主账号:add user aliyun$alice@aliyun.com;
  • 子账号:add user ram$alice@aliyun.com:ram_name;

ACL授权

直接的ACL授权,其实就是一个简单的,把XX权限授权给YY,或者把YY上的XX权限解除授权的一个过程。在add user之后,通过grant和revoke语法来进行授权或者解除授权,具体的语法是

grant actions on object to subject 
revoke actions on object from subject

举个实际的例子,要给一个账号授权查询某张表的权限,然后又解除授权,步骤是

grant List, CreateTable, CreateInstance on project prj1 to user aliyun$alice@aliyun.com; --使用grant语句对用户授权
grant Describe, Select on table wc_in to user aliyun$alice@aliyun.com;
revoke Describe, Select on table wc_in from user aliyun$alice@aliyun.com;
revoke List, CreateTable, CreateInstance on project prj1 from user aliyun$alice@aliyun.com; --使用revoke解除授权

而基于角色的ACL授权就是先定义一个角色(或者说是一个权限包),比如说创建一个叫开发者的角色,然后把各种前面提到的权限先授权给这个角色。后面来了个研发人员需要这样的权限,直接把开发者这个角色授权给他就可以了,不需要部重新授权一遍。可以看下授权的命令

add user aliyun$alice@aliyun.com; --添加用户
create role dev; --创建角色
grant List, CreateInstance on project prj1 to role dev; --对角色赋权
grant Describe, Select on table userprofile to role dev;
grant dev to aliyun$alice@aliyun.com; --对用户赋予角色dev

其他

如前面提到,Policy授权、Package授权两个功能,目前公共云的MaxcCompute上还没提供,所以本文也不再做详细介绍。不过可以可以大致说明一下:

Policy是通过设置json格式的配置来授权,使用起来比较复杂,功能上也比较。

Package是先把资源添加到资源包里,然后授予对方安装资源包的方式来实现资源的跨项目授权

DataIDE权限设置

DataIDE的权限主要分IDE本身的一些功能权限和底层计算引擎的权限。IDE里,在添加用户后,可以给其授予部署、访客 、项目管理员、开发、运维的角色,在IDE里配置了角色后,对应的账号可以获得IDE上对应的角色所拥的IDE上的对应模块的操作权限外,还获得了底层的计算引擎MaxCompute上的对应权限,如图
image
比如我给chuanxue这个子账号授权了“开发”的角色后
image
可以看到。在子账号授予权限后,除了DataIDE上的相关模块的权限外,还给了这个MaxCompute项目的一些开发需要用到的项目权限(CreateTable、CreateInstance、List、Read、Write;可以看到是通过ACL实现的)以及用Policy实现其他的一些权限。

在实际的工作中,需要先根据子账号用户的实际需要的IDE的权限,授予他对应的项目成员管理里的角色。一般情况下,这样授权就已经足够了。但是如果一些MaxCompute的权限需要调整的,可以再通过MaxCompute的授权命令进行调整。

除了这个之外,DataIDE的数据管理模块里还支持对表进行权限申请,申请通过后,会自动通过ACL的方式获得对应的表的Describe和Select权限。

典型案例

以上说明后可能需要一些实际的例子来说明会更加清楚。之前过这样的一个案例,个用户在项目内授予了开发权限,但是查询的时候一直没提示没这张表的查询权限。照道理说,了开发权限后,就已经这个项目下的所的表的查询权限了。从错误上看,我们认为目前的权限异常是出在计算引擎上的,所以需要检查MaxCompute上的权限设置。

首先到https://workbench.data.aliyun.com/console?#/projectlist ,看看项目名称对应的显示名,从而得到实的项目名称。其实这个是个非常简单但是容易犯错的情况,很多开发工程师并非是项目的创建者,看到的别名就误以为是项目名称,导致授权检查的时候查错项目。
image
比如咱们这个截图里,项目的名称是aliyun2014,但是显示名是aliyun。所以出现问题的时候,要排查的也是看aliyun2014这个项目下的权限对不对。

然后我们可以在大数据开发套件里,创建一个SQL脚本,执行whoami;来看看当前的执行账号是否确实是预期中的那个账号,如图
image
看看项目名称能不能对上,对上后看看Name是否和自己的预期是能对上的。

确定了项目名称和登录账号后,可以用项目管理员的账号,打开MaxCompute的客户端,使用Show grants for xxx;查看这个账号的所的权限(前文就一个这样show grants的截图)。通过这个办法可以看到这个账号的目前计算引擎上的实际权限。如果发现这里的权限不对的话,那说明可能是被人从计算引擎层面上误删除了对应的权限,可以再通过命令补上,当然更加方便的方法是在DataIDE上取消其开发角色后再重新加上,这样在加上的时候会重新进行MaxComupte的权限的授权。

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;如果您发现本社区中涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

原文链接

本文转载自:

粉丝 0
博文 105
码字总数 7329
作品 0
私信 提问
MaxCompute/DataWorks权限问题排查建议

MaxCompute/DataWorks权限问题排查建议 前提:MaxCompute与DataWorks为两个产品,在权限体系上既有交集又要一定的差别。在权限问题之前需了解两个产品独特的权限体系。 MaxCompute:计算引擎...

阿里云云栖社区
2018/12/27
14
0
MaxCompute安全管理指南-基础篇

背景及目的 方便和辅助MaxCompute的project owner或安全管理员进行project的日常安全运维,保障数据安全。 MaxCompute有安全模型,DataWorks也有安全模型,当通过DataWorks使用MaxCompute,而...

zhaowei121
01/16
6
0
MaxCompute多租户数据安全体系

很多用户对MaxCompute多租户数据安全体系感兴趣,我们将对其进行系统介绍,主要包括如下内容: 用户认证。 项目空间内的访问控制和权限管理。 跨项目空间的访问控制和权限管理。 常见错误解析...

daniel.zx
2018/08/17
0
0
阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171127)

概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方...

隐林
2017/05/05
0
0
MaxCompute如何对SQL查询结果实现分页获取

由于MaxCompute SQL本身不提供类似数据库的select * from table limit x offset y的分页查询逻辑。但是有很多用户希望在一定场景下能够使用获取类似数据库分页的逻辑,对查询结果进行分页/分...

圣远
04/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
8分钟前
3
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
今天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
今天
4
0
轻量级 HTTP(s) 代理 TinyProxy

CentOS 下安装 TinyProxy yum install -y tinyproxy 启动、停止、重启 # 启动service tinyproxy start# 停止service tinyproxy stop# 重启service tinyproxy restart 相关配置 默认...

Anoyi
今天
0
0
Linux创建yum仓库

第一步、搞定自己的光盘 #创建文件夹 mkdir -p /media/cdrom #挂载光盘 mount /dev/cdrom /media/cdrom #编辑配置文件使其永久生效 vim /etc/fstab 第二步,编辑yun源 vim /ect yum.repos.d...

究极小怪兽zzz
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部