文档章节

CDH安装常见问题

刀锋
 刀锋
发布于 2017/08/13 15:14
字数 805
阅读 0
收藏 0

1、Intall Parcel 的时候,hash verification failure

首先使用命令以下命令查看其hash值

sha1sum CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel

然后将 sha1sum 命令得出的值和 CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel.sha1、manifest.json 里面的值对比是否一致。若不一致可能下载文件 CDH-5.12.0-1.cdh5.12.0.p0.29-el6.parcel 已经损坏。使用迅雷等下载工具再次下载一个。

2、使用Cloudera Manager 添加主机的时候,mysql-libs-* 和已经安装的mysql冲突

如果节点已经高版本的mysql数据库的,可能会存在mysql-lib冲突的问题,不过mysql的官方已经给了一个解决的方法,就是安装mysql-lib兼容包。例如:

[root@test1 soft]# tar xvf mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar 
mysql-community-libs-5.7.19-1.el6.x86_64.rpm
mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm  # mysql-libs 兼容的包
mysql-community-devel-5.7.19-1.el6.x86_64.rpm
mysql-community-embedded-5.7.19-1.el6.x86_64.rpm
mysql-community-common-5.7.19-1.el6.x86_64.rpm
mysql-community-server-5.7.19-1.el6.x86_64.rpm
mysql-community-test-5.7.19-1.el6.x86_64.rpm
mysql-community-embedded-devel-5.7.19-1.el6.x86_64.rpm
mysql-community-client-5.7.19-1.el6.x86_64.rpm
[root@test1 soft]# 

3、没有安装centos***.iso文件

解决方法:挂载操作系统本地yum源。

4、如何查看cdh中可用的components的版本信息?

cat manifest.json

5、Validations界面提示修改swappiness

安装CDH5.4.0的时候,Validations界面中有以下提示内容

Cloudera recommends setting /proc/sys/vm/swappiness to at most 10. Current setting is 60. Use the sysctl command to change this setting at runtime and edit /etc/sysctl.conf for this setting to be saved after a reboot. You may continue with installation, but you may run into issues with Cloudera Manager reporting that your hosts are unhealthy because they are swapping. The following hosts are affected: test1; test2 

说明下swappiness:
Linux系统的swap分区并不是等所有的物理内存都消耗完毕之后,才去使用swap分区的空间,什么时候使用是由swappiness参数值控制。通过下面的方法可以查看swappiness参数的值:

[root@rhce ~]# cat /proc/sys/vm/swappiness
60

结果显示该值默认为60,其中:
swappiness=0的时候,表示最大限度使用物理内存,然后才使用swap空间;swappiness=100的时候,表示积极的使用swap分区,并且把内存上的数据及时的搬运到swap空间中。为了让操作系统尽可能的使用物理内存,降低系统对swap的使用,从而提高系统的性能。针对该值的修改应该先临时修改,再永久修改保证重启后生效,具体修改过程如下:

[root@test1 ~]# sysctl vm.swappiness=10   # 临时修改
vm.swappiness = 10
[root@test1 ~]# cat /proc/sys/vm/swappiness  # 修改后验证
10
[root@test1 ~]# echo 'vm.swappiness=10' >> /etc/sysctl.conf  # 永久修改
[root@test1 ~]# tail -1 /etc/sysctl.conf   # 修改后验证
vm.swappiness=10
[root@test1 ~]# 

6、Distrubuted None

Installing Selected Parcels 
The selected parcels are being downloaded and installed on all the hosts in the cluster.

Distrubuted None

解决:

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4  # =>保留
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6  # =>保留

7、clock off

在安装完hadoop集群中,hdfs报clock off,但经检查时间跟ntp server并无大的时间差距,最终解决是修改 /etc/ntp.conf中server只保留本地ntp server。

© 著作权归作者所有

共有 人打赏支持
刀锋
粉丝 2
博文 390
码字总数 298858
作品 0
济南
程序员
Centos7离线安装Cloudera Manager 5.14.1

简介 如果是新手,请严格按照步骤来做。当然还有其他安装方式,这里讲的方式比较适合测试使用。 本次安装一共使用3台服务器,主要用户测试。 可以搭建三台虚拟机,其中master内存在8G以上,s...

全科
08/08
0
0
通过cloudera-manager来安装hadoop

通过cloudera-manager来安装hadoop 本人笨,装的过程碰了不少东西,其他网站转载的文章也没具体写清楚,以下我实战了下总结下来。 1. ssh登陆要安装管理界面的机器,确定关闭防火墙和selinux...

SANSOM
2013/12/17
5.6K
0
CDH集群搭建步骤

CDH集群搭建步骤详细文档 一、关于CDH和Cloudera Manager CDH (Cloudera's Distribution,including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hado...

四京
2017/06/13
0
0
Cloudera CDH 离线安装与使用

CDH 在线安装方法如下,方便,但是由于在国内,访问这个网站的速度很慢,并不快捷。 在线安装Cloudera Manager服务器 # 配置cloudera-cdh源和cloudera-manager源 # cloudera-manager wget ht...

hsbxxl
05/17
0
0
创建hadoop CDH5本地源

线上要部署CDH5,由于打算全套组件都使用CDH5版本,所以需要安装大量的软件包,使用官方的在线安装速度实在受不了,故直接把CDH5的Centos的repo给同步下来了: cdh5.repo [cloudera-cdh5] Pa...

China_OS
2015/05/12
154
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

高三暑假我是怎么想开去学linux系统的

高三的时候,我有一句口头禅:“老了老了,现在做题越来越迟钝了”。当时整天日夜苦读,体重日益增加,脸色越来越黯淡,我在终于熬过了高考的时候,简直心里面乐得开了花。我终于可以去做自己...

linuxprobe16
13分钟前
0
0
Python 获得命令行参数的方法

需要模块:sys 参数个数:len(sys.argv) 脚本名: sys.argv[0] 参数1: sys.argv[1] 参数2: sys.argv[2]

编程老陆
20分钟前
0
0
链队

队列用链表来表示时,需要用两个变量来记录队列两端的变化:theFront,theBack. 根据链接方向的不同,链队有两种链接方式(其实就是链表的头插入节点和尾插入节点,头删除节点和尾删除节点)。...

Frost729
24分钟前
0
0
IDEA toString() json模板

public java.lang.String toString() {java.lang.StringBuilder builder = new java.lang.StringBuilder();#set ($i = 0)#foreach ($member in $members)#if ($i == 0)builder.appen......

Mtok
34分钟前
0
0
Dubbo内核实现之SPI简单介绍

Dubbo采用微内核+插件体系,使得设计优雅,扩展性强。那所谓的微内核+插件体系是如何实现的呢!即我们定义了服务接口标准,让厂商去实现(如果不了解spi的请谷歌百度下), jdk通过ServiceLo...

明理萝
39分钟前
0
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部