文档章节

ambari部署hadoop集群

c
 chunhei2008
发布于 2014/01/18 11:10
字数 1695
阅读 1976
收藏 9

1、基本工具

yum、scp、curl、wget、pdsh、ssh

2、环境准备

2.1、系统环境

Centos6.5 64bit

Ambari 1.4.3.38

2.2、ambari server 与 ambari agent 服务器root ssh无密互访

Ambari server服务器

Ssh-keygen 生产私钥公钥 id_rsa id_rsa.pub

        Ambari agent服务器

将ambari server 服上root生成的id_rsa.pub上传到各个集群机器上。

cat id_rsa.pub >> authorized_keys

Ambar server

ssh root@ambariagent 

2.3、所有集群机器时间同步

安装ntp服务

2.4、所有集群机器关闭selinux

setenforce 0

2.5、所有集群机器关闭防火墙

/etc/init.d/iptables stop

2.6、所有集群机器centos关闭packagekit

vim /etc/yum/pluginconf.d/refresh-packagekit.conf

enabled=0

3、安装准备

注:本节只需要在ambari server服务器上做

3.1、安装源

wget http://public-repo-1.hortonworks.com/ambari/centos6/1.x/GA/ambari.repo

cp ambari.repo /etc/yum.repos.d

这个源可能会非常慢,如果慢可以部署本地源(以下为可选,一般ambari源所需资源少,不需要部署本地源,步奏如下:

1、下载打包好的ambari百度云盘

2、在ambari-server机器上部署源,将上面下载的文件解压到如/var/www/html/目录下

3、修改ambari.repo文件如下,注意黄色部分即可

[ambari-1.x]

name=Ambari 1.x

baseurl=file:///var/www/html/ambari/

gpgcheck=0

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

[HDP-UTILS-1.1.0.16]

name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16

baseurl=file:///var/www/html/ambari/

gpgcheck=0

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

[Updates-ambari-1.x]

name=ambari-1.x - Updates

baseurl=file:///var/www/html/ambari/

gpgcheck=0

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

3.2、Install the epel repository

yum install epel-release

yum repolist

3.3、安装ambari server

yum install ambari-server

3.4、设置ambari server

ambari-server setup

一路按确定即可,ambari-server会用到数据库,自行选择默认使用PostgreSQL,如果你选择使用mysql还需要把jdbc驱动放到/usr/lib/ambari-server目录下,会自动下载jdk-6u31-linux-x64.bin到/var/lib/ambari-server/resources你可以可以自己下载

安装好之后 启动ambari-server

ambari-server start

如果启动失败主义看几个日志文件/var/log/ambari-server

查看ambari-server状态

ambari-server status

注:如果不自己使用自己创建的源,一下步奏略过

ambari-server 会自己搭建一个web服务器根目录为/usr/lib/ambari-server/web端口号为8080我们可以通过 http://ambari-server-hostname:8080/访问到,我们要利用起来这个web服务器(也可以使用自己已有服务器)部署我们的ambari 和 hdp源,步骤如下

1、将3.1中/var/www/html/ambari/复制到/usr/lib/ambari-server/web

cp -r /var/www/html/ambari/ /usr/lib/ambari-server/web 

2、同时修改ambari.repo

[ambari-1.x]

name=Ambari 1.x

baseurl=http://ambari-server-hostname:8080/ambari/

gpgcheck=0

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

[HDP-UTILS-1.1.0.16]

name=Hortonworks Data Platform Utils Version - HDP-UTILS-1.1.0.16

baseurl=http://ambari-server-hostname:8080/ambari/

gpgcheck=0

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

[Updates-ambari-1.x]

name=ambari-1.x - Updates

baseurl=http://ambari-server-hostname:8080/ambari/

gpgcheck=0

gpgkey=http://public-repo-1.hortonworks.com/ambari/centos6/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

3、创建HDP源

将HDP源(我自己打包好的源)百度云盘下载并解压到/usr/lib/ambari-server/web下可以看到一个hdp文件夹

4、修改repoinfo.xml文件

cd /var/lib/ambari-server/resources/stacks/HDP/2.0.6/repos     

修改如下部分,我使用的是centos6.5所以修改对应的。

<os type="centos6">

    <repo>

      <baseurl>http://ambari-server-hostname:8080/hdp/</baseurl>

      <repoid>HDP-2.0.6</repoid>

      <reponame>HDP</reponame>

    </repo>

  </os>

<os type="oraclelinux6">

    <repo>

      <baseurl>http://ambari-server-hostname:8080/hdp/</baseurl>

      <repoid>HDP-2.0.6</repoid>

      <reponame>HDP</reponame>

    </repo>

  </os>

  <os type="redhat6">

    <repo>

      <baseurl>http://ambari-server-hostname:8080/hdp/</baseurl>

      <repoid>HDP-2.0.6</repoid>

      <reponame>HDP</reponame>

    </repo>

  </os>

在安装过程中,ambari会在集群机器上创建一个HDP.repo的源文件,文件的内容就是我们这里修改的相关信息。

4、安装

浏览器访问http://ambari-server-hostname:8080  

按照步奏一步步走在这一步时注意,选择自己对应得版本,我使用的是2.0.6前面章节中我也配置的是2.0.6版本,其他版本类似修改。

 

在安装中可能会出现多次失败,如果retry很多次还这样就要清理各个机器上的相关类库,用户,目录,配置等信息。所以建议最好在一个新安装的纯净系统上使用。

5、重新安装

注:以下来自网络,我在安装中也是这样做的,有些内容可能与实际不同,主要就是删除相关包、用户、以及配置

 1、停止ambari

 所有集群机器

 ambari-agent stop

 Ambari-server机器

 ambari-server stop

 2、删除安装包

#用yum list installed | grep HDP来检查安装的hadoop相关的包

yum remove -y  sqoop.noarch  

yum remove -y  lzo-devel.x86_64  

yum remove -y  hadoop-libhdfs.x86_64  

yum remove -y  rrdtool.x86_64  

yum remove -y  hbase.noarch  

yum remove -y  pig.noarch  

yum remove -y  lzo.x86_64  

yum remove -y  ambari-log4j.noarch  

yum remove -y  oozie.noarch  

yum remove -y  oozie-client.noarch  

yum remove -y  gweb.noarch  

yum remove -y  snappy-devel.x86_64  

yum remove -y  hcatalog.noarch  

yum remove -y  python-rrdtool.x86_64  

yum remove -y  nagios.x86_64  

yum remove -y  webhcat-tar-pig.noarch  

yum remove -y  snappy.x86_64  

yum remove -y  libconfuse.x86_64    

yum remove -y  webhcat-tar-hive.noarch  

yum remove -y  ganglia-gmetad.x86_64  

yum remove -y  extjs.noarch  

yum remove -y  hive.noarch  

yum remove -y  hadoop-lzo.x86_64  

yum remove -y  hadoop-lzo-native.x86_64  

yum remove -y  hadoop-native.x86_64  

yum remove -y  hadoop-pipes.x86_64  

yum remove -y  nagios-plugins.x86_64  

yum remove -y  hadoop.x86_64  

yum remove -y  zookeeper.noarch      

yum remove -y  hadoop-sbin.x86_64  

yum remove -y  ganglia-gmond.x86_64  

yum remove -y  libganglia.x86_64  

yum remove -y  perl-rrdtool.x86_64

yum remove -y  epel-release.noarch

yum remove -y  compat-readline5*

yum remove -y  fping.x86_64

yum remove -y  perl-Crypt-DES.x86_64

yum remove -y  exim.x86_64

yum remove -y ganglia-web.noarch

yum remove -y perl-Digest-HMAC.noarch

yum remove -y perl-Digest-SHA1.x86_64

3.删除用户

userdel nagios 

userdel hive 

userdel ambari-qa 

userdel hbase 

userdel oozie 

userdel hcat 

userdel mapred 

userdel hdfs 

userdel rrdcached 

userdel zookeeper 

userdel sqoop

userdel puppet

4.删除快捷方式

cd /etc/alternatives

rm -rf hadoop-etc 

rm -rf zookeeper-conf 

rm -rf hbase-conf 

rm -rf hadoop-log 

rm -rf hadoop-lib 

rm -rf hadoop-default 

rm -rf oozie-conf 

rm -rf hcatalog-conf 

rm -rf hive-conf 

rm -rf hadoop-man 

rm -rf sqoop-conf 

rm -rf hadoop-conf

5.删除文件夹

rm -rf /var/lib/pgsql

rm -rf /hadoop

rm -rf /etc/hadoop 

rm -rf /etc/hbase 

rm -rf /etc/hcatalog 

rm -rf /etc/hive 

rm -rf /etc/ganglia 

rm -rf /etc/nagios 

rm -rf /etc/oozie 

rm -rf /etc/sqoop 

rm -rf /etc/zookeeper 

rm -rf /var/run/hadoop 

rm -rf /var/run/hbase 

rm -rf /var/run/hive 

rm -rf /var/run/ganglia 

rm -rf /var/run/nagios 

rm -rf /var/run/oozie

rm -rf /var/run/zookeeper

rm -rf /var/log/hadoop 

rm -rf /var/log/hbase 

rm -rf /var/log/hive 

rm -rf /var/log/nagios 

rm -rf /var/log/oozie 

rm -rf /var/log/zookeeper 

rm -rf /usr/lib/hadoop

rm -rf /usr/lib/hbase 

rm -rf /usr/lib/hcatalog 

rm -rf /usr/lib/hive 

rm -rf /usr/lib/oozie 

rm -rf /usr/lib/sqoop 

rm -rf /usr/lib/zookeeper 

rm -rf /var/lib/hive 

rm -rf /var/lib/ganglia 

rm -rf /var/lib/oozie 

rm -rf /var/lib/zookeeper 

rm -rf /var/tmp/oozie 

rm -rf /tmp/hive 

rm -rf /tmp/nagios 

rm -rf /tmp/ambari-qa 

rm -rf /tmp/sqoop-ambari-qa 

rm -rf /var/nagios 

rm -rf /hadoop/oozie 

rm -rf /hadoop/zookeeper 

rm -rf /hadoop/mapred 

rm -rf /hadoop/hdfs 

rm -rf /tmp/hadoop-hive 

rm -rf /tmp/hadoop-nagios 

rm -rf /tmp/hadoop-hcat 

rm -rf /tmp/hadoop-ambari-qa 

rm -rf /tmp/hsperfdata_hbase 

rm -rf /tmp/hsperfdata_hive 

rm -rf /tmp/hsperfdata_nagios 

rm -rf /tmp/hsperfdata_oozie 

rm -rf /tmp/hsperfdata_zookeeper 

rm -rf /tmp/hsperfdata_mapred 

rm -rf /tmp/hsperfdata_hdfs 

rm -rf /tmp/hsperfdata_hcat 

rm -rf /tmp/hsperfdata_ambari-qa

 

6.删除ambari包

#采用这句命令来检查yum list installed | grep ambari

yum remove -y ambari-*

yum remove -y postgresql

rm -rf /var/lib/ambari*

rm -rf /var/log/ambari*

rm -rf /etc/ambari*

7.删除HDP.repo和amabari.repo

cd /etc/yum.repos.d/

rm -rf HDP*

rm -rf ambari*

 


© 著作权归作者所有

下一篇: phpcbf工具帮助
c
粉丝 3
博文 27
码字总数 8480
作品 2
广州
高级程序员
私信 提问
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
1K
0
Docker 将 Hadoop 带到云端

一周前我们发布并开源了Cloudbreak--首个基于hadoop的docker service API。本文将为您展示其技术细节和架构组成。 Cloudbreak 建立于Apache Ambari, Docker containers, Serf 和 dnsmasq ...

oschina
2014/07/28
4.9K
0
[Hadoop] 使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现。Apache Amba...

长平狐
2013/06/03
195
0
[Hadoop] 使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现。Apache Amba...

长平狐
2013/06/03
331
0
简单分析Ambari——顶级Hadoop管理方案

前面我们提到了两个比较火的Hadoop集群运维管理工具 Ambari和Cloudera Manager。它们集安装,配置,监控于一身,对于Hadoop的初学者可以起到很好的帮助作用。这篇文章就对Ambari着重介绍一下...

叁金
2018/05/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Git 分支管理规范

Git 仓库申请流程 开发主管向 Git 管理员提交 Git 仓库申请【邮件:发送给 Git 管理员,抄送给项目经理,申请表可向 Git 管理员获取】 Git 管理员审批开发主管的申请,审批以下具体信息: 审批...

物种起源-达尔文
31分钟前
6
0
浅谈iterator迭代器模式

一、前言 设计模式有很多,最典型的是GoF的23种设计模式,听起来很多,其实大部分我们都是见过的,按照常见度来分,最常用的差不多是六七个吧,因此,我们在学习的时候应该有轻重缓急之分,不...

青衣霓裳
31分钟前
4
0
Spring Boot2 系列教程(二)创建一个 Spring Boot 项目的三种方法

我最早是 2016 年底开始写 Spring Boot 相关的博客,当时使用的版本还是 1.4.x ,文章发表在 CSDN 上,阅读量最大的一篇有 43W+,如下图: 2017 年由于种种原因,就没有再继续更新 Spring B...

江南一点雨
33分钟前
5
0
熟练掌握这5个Excel技巧,只加薪不加班

月初月报的整理,周一周报的整理都离不开Excel,有的同事只要10分钟搞定,也有同事花费一上午时间整理报表,这样对比起来,时间差是很大的。那怎样快速对Excel表中的数据进行整理呢? 1.快速...

干货趣分享
37分钟前
5
0
总结:SpringCloud

一、Eureka Eureka 是 Netflix 开发的,一个基于 REST 服务的,服务注册与发现的组件 它主要包括两个组件:Eureka Server 和 Eureka Client Eureka Client:一个Java客户端,用于简化与 Eure...

浮躁的码农
46分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部