文档章节

Cloudera Manager安装部署

罗文浩
 罗文浩
发布于 2016/01/29 10:49
字数 495
阅读 2549
收藏 3

1:下载jdk1.8

2新建/usr/java文件夹

   将jdk-8u11-linux-x64.tar.gz放到该文件夹中,并将工作目录切换到/usr/java目录下。如下图所示:

 

解压 tar -xzvf jdk-8u11-linux-x64.tar.gz

 

3:配置环境变量

进入etc/profile

 

添加环境变量配置。

4:设置profile使其立即生效

 

5:Establish Your Cloudera Manager Repository Strategy(创建Cloudera Manager 仓库源信息)

 

添加内容为

Wq退出vim编辑器

 

6.安装Cloudera Manager Server Packages

 

 

7.安装Cloudera Manager Agent Packages

 

安装cloudera-manager-agent-5.5.1-1.cm551.p0.8.el6.x86_64.rpm

安装MySQL-python-1.2.3-0.3.c1.1.el6.x86_64.rpm

安装mod_ssl-2.2.15-47.el6.centos.1.x86_64.rpm

安装python-psycopg2-2.0.14-2.el6.x86_64.rpm

升级安装httpd-2.2.15-47.el6.centos.1.x86_64.rpm                                                                          

升级安装httpd-tools-2.2.15-47.el6.centos.1.x86_64.rpm

如果rpm包没有下载那直接用

yum install cloudera-manager-agent cloudera-manager-daemons

如果下载了rmp包:

sudo yum --nogpgcheck localinstall cloudera-manager-agent-*.rpm


8配置Cloudera Manager Agent文件

 /etc/cloudera-scm-agent/config.ini

server_host Cloudera Manager Server的主机名

server_port Cloudera Manager Server的端口号

9安装CDH和管理的各种服务包

Download the CDH 5 "1-click Install" package (or RPM).

下载cloudera-cdh-5-0.x86_64.rpm

wget https://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-cdh-5-0.x86_64.rpm

yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm 

add a repository key

rpm --import https://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

安装CDH packages:

yum clean all

yum install avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hadoop-kms hbase-solr hive-hbase hive-webhcat hue-beeswax hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout oozie pig pig-udf-datafu search sentry solr-mapreduce spark-core spark-master spark-worker spark-history-server spark-python sqoop sqoop2 whirr

 

以上会安装以下的包

avro-tools

crunch

flume-ng

hadoop-hdfs-fuse

hadoop-hdfs-nfs3

hadoop-httpfs

hadoop-kms

hbase-solr

hive-hbase

hive-webhcat

hue-beeswax

hue-hbase

hue-impala

hue-pig

hue-plugins

hue-rdbms

hue-search

hue-spark

hue-sqoop

hue-zookeeper

impala

impala-shell

kite

llama

mahout

oozie

pig

pig-udf-datafu

search

sentry

solr-mapreduce

spark-core

spark-history-server

spark-master

spark-python

spark-worker

sqoop

sqoop2

whirr

安装以下的依赖包

avro-libs

bigtop-jsvc

bigtop-tomcat

bigtop-utils

hadoop

hadoop-0.20-mapreduce

hadoop-client

hadoop-hdfs

hadoop-libhdfs

hadoop-mapreduce

hadoop-yarn

hbase

hive

hive-hcatalog

hive-jdbc

hue-common

oozie-client

parquet

parquet-format

solr

sqoop2-client

zookeeper

 

如果以上的包都已经下载到本地了的目录cdh-service-rpm

cd cdh-service-rpm/

yum install *

 12.进入****:7180管理界面进行各个节点集群安装。

13:省略

 

 

 

 


 


© 著作权归作者所有

罗文浩
粉丝 22
博文 138
码字总数 223451
作品 0
海淀
架构师
私信 提问
加载中

评论(3)

糊涂_java

引用来自“罗文浩”的评论

引用来自“cql-kk”的评论

您好,请问下集群安装的时候,出现下面两个错误该怎么解决:
(1)正在安装 jdk 包...
BEGIN yum list installed jdk
Loaded plugins: fastestmirror, langpacks
Error: No matching Packages to list
END (1)
(2)Error: MariaDB-common conflicts with 1:mariadb-libs-5.5.52-1.el7.x86_64
You could try using --skip-broken to work around the problem
** Found 2 pre-existing rpmdb problem(s), 'yum check' output follows:
2:postfix-2.10.1-6.el7.x86_64 has missing requires of libmysqlclient.so.18()(64bit)
2:postfix-2.10.1-6.el7.x86_64 has missing requires of libmysqlclient.so.18(libmysqlclient_18)(64bit)
END (1)

回复@cql-kk : 你这是少了系统本地lib,,,
最新CDH安装文档https://mp.weixin.qq.com/s?__biz=MzI4OTY3MTUyNg==&mid=2247483731&idx=1&sn=e5a80a84cf54b69d21c7af56ca6c63b4&chksm=ec2ad15adb5d584c95978010108181386bd2697abadc1107985ce3cc264def70929af70f7e07#rd
罗文浩
罗文浩 博主

引用来自“cql-kk”的评论

您好,请问下集群安装的时候,出现下面两个错误该怎么解决:
(1)正在安装 jdk 包...
BEGIN yum list installed jdk
Loaded plugins: fastestmirror, langpacks
Error: No matching Packages to list
END (1)
(2)Error: MariaDB-common conflicts with 1:mariadb-libs-5.5.52-1.el7.x86_64
You could try using --skip-broken to work around the problem
** Found 2 pre-existing rpmdb problem(s), 'yum check' output follows:
2:postfix-2.10.1-6.el7.x86_64 has missing requires of libmysqlclient.so.18()(64bit)
2:postfix-2.10.1-6.el7.x86_64 has missing requires of libmysqlclient.so.18(libmysqlclient_18)(64bit)
END (1)

回复@cql-kk : 你这是少了系统本地lib,,,
cql-kk
cql-kk
您好,请问下集群安装的时候,出现下面两个错误该怎么解决:
(1)正在安装 jdk 包...
BEGIN yum list installed jdk
Loaded plugins: fastestmirror, langpacks
Error: No matching Packages to list
END (1)
(2)Error: MariaDB-common conflicts with 1:mariadb-libs-5.5.52-1.el7.x86_64
You could try using --skip-broken to work around the problem
** Found 2 pre-existing rpmdb problem(s), 'yum check' output follows:
2:postfix-2.10.1-6.el7.x86_64 has missing requires of libmysqlclient.so.18()(64bit)
2:postfix-2.10.1-6.el7.x86_64 has missing requires of libmysqlclient.so.18(libmysqlclient_18)(64bit)
END (1)
如何在CDH中安装Kudu&Spark2&Kafka

1.概述 在CDH的默认安装包中,是不包含Kafka,Kudu和Spark2的,需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下,在CentOS6.5操作系统上基于CDH5.12.1集群,使用C...

hblt-j
2018/09/04
125
1
离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM。 CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有...

PengLei
2017/09/25
0
0
离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM。 CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有...

闫鹏磊
2018/01/10
0
0
【干货】离线安装Cloudera Manager 5和CDH5(最新版5.13.0)详细过程

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装,简化安装过...

雪饼
2018/01/10
3.2K
0
CDH6在安装agent时,提示安装失败 无法接收 Agent 发出的检测信号

我在三台虚拟机上安装CDH6,进行到在web界面安装agent这一步,在“等待新安装的 Agent 检测信号...”这一步等待了1分钟左右,提示如下错误: 安装失败。 无法接收 Agent 发出的检测信号。 请...

随便填个用户名
2018/10/09
1K
1

没有更多内容

加载失败,请刷新页面

加载更多

【JVM学习】2.Java虚拟机运行时数据区

来源: 公众号: 猿人谷 这里我们先说句题外话,相信大家在面试中经常被问到介绍Java内存模型,我在面试别人时也会经常问这个问题。但是,往往都会令我比较尴尬,我还话音未落,面试者就会“...

物种起源-达尔文
28分钟前
4
0
dart datetime

var date = DateTime.now().toUtc(); //格式化输出 String timestamp = "${date.year.toString()}-${date.month.toString().padLeft(2, '0')}-${date.day.toString().padLeft(2, ......

zdglf
今天
20
0
如何在Linux中复制文档

在办公室里复印文档过去需要专门的员工与机器。如今,复制是电脑用户无需多加思考的任务。在电脑里复制数据是如此微不足道的事,以致于你还没有意识到复制就发生了,例如当拖动文档到外部硬盘...

老孟的Linux私房菜
今天
47
0
SpringBoot 集成MongoDB

一、MongoDB 简介 MongoDB 如今是最流行的 NoSQL 数据库,被广泛应用于各行各业中,很多创业公司数据库选型就直接使用了 MongoDB,但对于大部分公司,使用 MongoDB 的场景是做大规模数据查询...

zw965
今天
49
0
使用 Envoy 和 AdGuard Home 阻挡烦人的广告

> 原文链接:使用 Envoy 和 AdGuard Home 阻挡烦人的广告 通常我们使用网络时,宽带运营商会为我们分配一个 DNS 服务器。这个 DNS 通常是最快的,距离最近的服务器,但会有很多问题,比如: ...

米开朗基杨
今天
54
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部