加载中
0025-CENTOS6.5安装CDH5.12.1(二)

5.快速组件服务验证 5.1HDFS验证(mkdir+put+cat+get) mkdir操作: [root@ip-172-31-6-148~]# hadoop fs -mkdir -p /fayson/test [root@ip-172-31-6-148 ~]# hadoop fs -ls / Found 3 items ...

0019-Yarn的JobHistory目录权限问题导致MapReduce作业异常

1.问题描述 Hive的MapReduce作业无法正常运行,日志如下: 0: jdbc:hive2://localhost:10000_>_select count(*) from student; … command(queryId=hive_20170902081616_d676f921-c62c-4fac...

0035-如何使用Sentry管理Hive外部表(补充)

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.文档编写目的 本文文档主要讲述如何使用Sentry管理Hive/Impala外部表权限。 内容概述 1.创建测试库及外部表 2.创建角色并...

2018/11/22 23:04
257
0013-如何在Kerberos与非Kerberos的CDH集群BDR不可用时复制数据

1.概述 本文档描述了在Kerberos与非Kerberos的CDH集群之间BDR不可用的情况下实现数据互导。文档主要讲述 1.测试集群环境描述 2.CDH的BDR功能验证 3.集群之间数据复制要求和限制 4.集群之间数...

2018/11/17 21:00
353
0110-如何给Kerberos环境下的CDH集群添加Gateway节点

Fayson的github: https://github.com/fayson/cdhproject 1.文档编写目的 Gateway节点又称为客户端节点,通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置,脚本命令,比如HDF...

2018/12/06 00:46
753
0001-CDH网络要求(Lenovo参考架构)

1.组网配置 建议的Cloudera组网配置如下图,主要包含数据网络和管理网络。 2.数据网络 数据网络是用于数据访问的节点之间的私有集群数据互连,比如在集群内的节点之间移动数据,或者将数据导...

2018/11/10 00:20
66
0040-如何重置Cloudera Manager的admin密码

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.问题描述 如果你忘记Cloudera Manager的admin用户密码,需要重置。那么本文刚好能帮到你。 2.解决办法 1.查看Cloudera ...

2018/11/23 23:41
154
0031-如何在CDH启用Kerberos的情况下安装及使用Sentry(一)

1.文档编写目的 本文档主要讲述如何在启用Kerberos的CDH集群中安装配置及使用Sentry。 内容概述 1.如何安装Sentry服务 2.Hive/Impala/Hue/HDFS服务如何与Sentry集成 3.Sentry测试 测试环境 ...

0015-如何使用Sentry管理Hive外部表权限

1.文档编写目的 本文档主要讲述如何使用Sentry对Hive外部表权限管理,并基于以下假设: 1.操作系统版本:RedHat6.5 2.CM版本:CM 5.11.1 3.集群已启用Kerberos和Sentry 4.采用具有sudo权限的...

2018/11/17 21:14
133
0010-Hive多分隔符支持示例

1.问题描述 如何将多个字符作为字段分割符的数据文件加载到Hive表中,事例数据如下: 字段分隔符为“@#$” test1@#$test1name@#$test2value test2@#$test2name@#$test2value test3@#$test3n...

0023-HOSTS配置问题导致集群异常故障分析

1.问题现象 Hadoop集群HDFS、YARN、Hive等服务出现异常告警 重启集群异常告警任然存在大量告警 Cluster 1 HDFS 可用空间抑制... NameNode 运行状况抑制... HDFS 金丝雀抑制... DataNode (ip-...

0017-Spark的HistoryServer不能查看到所有历史作业分析

1.问题描述 Spark的HistoryServer能正常查看之前的历史作业日志,但新提交的作业在执行完成后未能在HistoryServer页面查看。 2.问题复现 1.分别使用root和ec2-user用户执行作业 2.通过spark...

2018/11/19 16:41
237
0026-Hive使用十六进制分隔符异常分析

1.问题描述 通过sqoop抽取Mysql表数据到hive表,发现hive表所有列显示为null Hive表的分隔符为“\u001B”,sqoop指定的分隔符也是“\u001B” 通过命令show create table test_hive_delimiter...

2018/11/20 11:24
195
0028-如何在CDH未启用认证的情况下安装及使用Sentry

1.文档编写目的 CDH平台中的安全,认证(Kerberos/LDAP)是第一步,授权(Sentry)是第二步。如果要启用授权,必须先启用认证。但在CDH平台中给出了一种测试模式,即不启用认证而只启用Sentr...

2018/11/20 13:29
95
0027-如何在CDH集群启用Kerberos

1.文档编写目的 本文档讲述如何在CDH集群启用及配置Kerberos,您将学习到以下知识: 1.如何安装及配置KDC服务 2.如何通过CDH启用Kerberos 3.如何登录Kerberos并访问Hadoop相关服务 文档主要分...

0009-如何升级Cloudera Manager和CDH

1.文档编写目的 本文档讲述如何升级Cloudera Manager和CDH,通过本文档,您将学习到以下知识: 1.如何对Cloudera Manager进行停机升级 2.如何对CDH进行停机升级 3.如何在不影响集群作业的情况...

2018/11/15 19:52
168
0011-如何在Hive & Impala中使用UDF

1.文档编写目的 本文档讲述如何开发Hive自定义函数(UDF),以及如何在Impala中使用Hive的自定义函数,通过本文档,您将学习到以下知识: 1.如何使用Java开发Hive的自定义函数 2.如何在Hive中...

2018/11/17 20:45
144
0034-CM启动报InnoDB engine not found分析

1.问题描述 cloudera-scm-server服务启动失败,日志报错如下: 2017-09-10 10:23:47,267 ERROR main:com.cloudera.enterprise.dbutil.DbUtil: InnoDB engine not found. Show engines report...

2018/11/22 22:59
111
0022-如何永久删除Kafka的Topic

1.问题描述 使用kafka-topics --delete命令删除topic时并没有真正的删除,而是把topic标记为:“marked for deletion”,导致重新创建相同名称的Topic时报错“already exists”。 2.问题复现...

2018/11/19 23:02
540
0036-如何通过CM API优雅的获取元数据库密码

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。 1.问题描述 人啊,上了年纪了,总容易忘记一些事情,比如你一不小心就忘记了CDH集群Hive,Hue和Sentry服务的元数据库密码,...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部