加载中
大数据安全 Ranger

简介 Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计。它可以对Hadoop生态的组件如HDFS、YARN、Hive、HBase等进行细粒度的数据访问控制。通过Ranger统一的管理控制台界面,管理...

Spark 数据倾斜

什么是数据倾斜 比方WordCount中某个Key对应的数据量非常大的话,就会产生数据倾斜,导致两个后果: OM(单或少数的节点); 拖慢整个Job执行时间(其他已经完成的节点都在等这个还在做的节点...

03/21 09:57
50
FAQ

运行环境 EMR版本: EMR-3.14.0 集群类型: HADOOP 软件信息: HDFS2.7.2 / YARN2.7.2 / Hive2.3.3 / Ganglia3.7.2 / Zookeeper3.4.13 / Spark2.3.1 / HBase1.1.1 / HUE4.1.0 / Zeppelin0.8.0 /...

大数据调度工具oozie详细介绍

背景 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行,这样实现的话比较简单,但是随着多个job复杂度的提升,无论是协调工作还是任务监控都变得麻烦,我们选择...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部