文档章节

Centos系统下安装Ambari

zctzl
 zctzl
发布于 2017/06/17 11:22
字数 2447
阅读 257
收藏 1

 

 

 

 

一、Ambari相关介绍

1.  Ambari

       Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目。其作用就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署。

       Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件。Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。

        Ambari官网链接:http://ambari.apache.org/

2.  HDP

    HDP 是 hortonworks 的软件栈,里面包含了 hadoop 生态系统的所有软件项目,比如 HBase,Zookeeper,Hive,Pig 等等。

3.  HDP-UTILS

       HDP-UTILS是工具类库。 

 

二、安装前准备

1. 安装方式

       使用公共库源(public repositories)安装:这是安装 Ambari 最简便的方式。但在实际过程中使用该方法时,由于hortonworks的源很不稳定,很可能会遇到从公共库下载安装文件的速度只有十几k而无法正常安装的情况。

       搭建本地库源(local repository)安装:自行先下载好所有需要的文件,搭建一个本地库,再从本地库进行安装。

       本文选择的是第二种方式,实际上若集群的数量很大,所有节点都要到公共库去进行下载安装的任务,其网络开销是非常大的,搭建本地源安装是很有必要的。

2. 软硬件准备

2.1 机器准备

     5个节点(dellnode1、dellnode2、dellnode3、sgnode3、sgnode4),1个安装Ambari Server(dellnode1),4个安装Ambari Agent(其它)

2.2 操作系统

        Centos 6.5 64位

2.3 软件选择与下载

        Ambari(版本:2.5.1.0)、HDP(版本:2.6.1.0)、HDP-UTILS(版本:1.1.0.21)、JDK(版本:1.8)、MySQL(版本:5.7.18)(可能用到)

进入hortworks官网(http://docs.hortonworks.com/index.html),选择对应的Ambari版本。

Ambari下载:http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.1.0/ambari-2.5.1.0-centos6.tar.gz

HDP下载:http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.1.0/HDP-2.6.1.0-centos6-rpm.tar.gz

HDP-UTILS下载:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos6/HDP-UTILS-1.1.0.21-centos6.tar.gz

JDK下载(tar.gz):http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

MySQL下载:https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.18-1.el6.x86_64.rpm-bundle.tar

点击”Apache Ambari Installation”,选择“Using a Local Repository”。

选择“Ambari Repositories”和“HDP 2.6 Repositories”,复制下载链接进行下载。

3. 环境配置

3.1 系统配置

3.1.1 hosts配置

gedit /etc/hosts

添加所有主机解析:

3.1.2 关闭防火墙

关闭防火墙并设置开机不启动:

service iptables stop
chkconfig iptables off

查看当前防火墙状态:

service iptables status

3.1.3 禁用SELinux

gedit /etc/selinux/config

修改:SELINUX=disabled

查看状态:

sestatus

3.1.4 关闭THP服务

gedit /etc/rc.local

添加如下内容:

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
 echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
 echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
exit 0

 检查:有[never]则表示 THP 被禁用:

echo never > /sys/kernel/mm/transparent_hugepage/enabled
cat /sys/kernel/mm/transparent_hugepage/enabled

3.1.5 SSH无密登录

Ambari 的 Server 会 SSH 到 Agent 的机器,拷贝并执行一些命令。因此我们需要配置 Ambari Server 到 Agent 的 SSH 无密码登录。

生成公钥:

ssh-keygen -t rsa -P ''

通过 scp 命令将节点 node1 产⽣的公钥传输给其它节点 :

scp ~/.ssh/id_rsa.pub root@dellnode2:~/.ssh/id_rsa.pub
scp ~/.ssh/id_rsa.pub root@dellnode3:~/.ssh/id_rsa.pub
scp ~/.ssh/id_rsa.pub root@sgnode3:~/.ssh/id_rsa.pub
scp ~/.ssh/id_rsa.pub root@sgnode4:~/.ssh/id_rsa.pub

在各个集群主机上追加收到的公钥到自己的密钥里:

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

为 authorized_keys 赋予权限:

chmod 600 ~/.ssh/authorized_keys

最后记得把"~/.ssh/"目录下的"id_rsa.pub"文件删除掉:

rm ~/.ssh/id_rsa.pub

修改/etc/ssh/sshd_config,确保服务开启:

gedit /etc/ssh/sshd_config

去掉注释:

RSAAuthentication yes # 启用 RSA 认证

PubkeyAuthentication yes # 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

/bin/systemctl restart sshd.service

验证SSH无密登录:

3.1.6 安装jdk

在/usr/local下新建java文件夹,将下载的java压缩包解压到/usr/local/java目录下:

tar -zxvf jdk-8u131-linux-x64.gz -C /usr/local/java

设置环境变量:

sudo gedit /etc/profile

在末尾添加:

export JAVA_HOME=/usr/local/java/jdk1.8.0_131
export JRE_HOME=/usr/local/java/jdk1.8.0_131/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH

保存并生效:

source /etc/profile

验证:

java -version

参考:http://www.centoscn.com/image-text/install/2014/0827/3585.html

3.1.7 挂载NTFS格式移动硬盘(非必须)

由于HDP 2.6.1.0的文件大小超过4G,导致不能直接用FAT32格式的u盘拷贝到Centos下,而NTFS格式的硬盘Centos又不能直接识别。所以需要进行一定的处理。

下载ntfs-3g,将ntfs-3g进行解压

下载地址:https://tuxera.com/opensource/ntfs-3g_ntfsprogs-2017.3.23.tgz

tar xvf ntfs-3g_ntfsprogs-2017.3.23.tgz

进入ntfs-3g的源码目录

cd ntfs-3g_ntfsprogs-2017.3.23

进行NTFS基本配置

./configure

编译源码文件

make

源码安装

make install

fdisk -l 查看所要挂在的U盘盘符,/dev/sdb1

fdisk -l

将U盘(/dev/sdb1)挂载到/mnt下,即可进行文件复制

mount -t ntfs-3g /dev/sdb1 /mnt/

参考:http://jingyan.baidu.com/article/d45ad148b7a7ae69552b80ae.html?qq-pf-to=pcqq.group

二、安装Ambari

1. 制作yum源服务器

1.1 安装httpd

检查系统是否已经安装 http 服务:

which httpd

 若没有则进行安装:

yum install httpd

启动服务:

httpd -k start

打开浏览器,输入http://localhost:80/,能正确打开网页,则服务正常启动

1.2 制作离线源

由于该版本的HDP-UTILS解压后没有自动创建“HDP-UTILS-1.1.0.21”文件夹,为了与另外2个文件夹进行区分,因此手动创建了一个“HDP-UTILS-1.1.0.21”文件夹。

解压 Ambari 及 HDP 可HDP-UTILS包到/var/www/html 目录下:

tar -zxvf ambari-2.5.1-centos6.tar.gz -C /var/www/html
tar -zxvf HDP-2.6.1.0-centos6-rpm.tar.gz -C /var/www/html
tar -zxvf HDP-UTILS-1.1.0.21-centos6.tar.gz -C /var/www/html/HDP-UTILS-1.1.0.21

打开浏览器,输入http://localhost:80/ambari可以验证是否成功(需保证httpd已启动)

找到上述ambari和HDP里的.repo文件,修改 repo 文件的baseurl和gpgkey(注意:HDP-UTIL的gpgkey与HDP的gpgkey相同)

gedit /var/www/html/ambari/centos6/ambari.repo
gedit /var/www/html/HDP/centos6/hdp.repo

复制 .repo 文件到/etc/yum.repo.d/目录下

cp /var/www/html/ambari/centos6/ambari.repo /etc/yum.repos.d/
cp /var/www/html/HDP/centos6/hdp.repo /etc/yum.repos.d/

到/etc/yum.repo.d/目录下查看:

可以查看仓库列表:

yum repolist

1.3 安装ambari-server

查看ambari-server,若已存在可以先卸载(yum erase ambari-server)

which ambari-server

开始安装

yum install ambari-server

在提示安装完成后,开始进行设置:

ambari-server setup

设置过程中需要指定jdk路径,选择“[3] Custom JDK”。

使用下面命令查看jdk安装路径,并填写该路径。本文jdk路径为“/usr/java/jdk1.8.0_112”。然后需要配置数据库,可以选择n使用默认配置。

echo $JAVA_HOME

启动服务:

ambari-server start

1.4 安装ambari-agent

打开浏览器,输入http://10.10.1.1:8080/,用户名密码都为admin

登录 Ambari 之后,点击按钮“Launch Install Wizard”

给集群取一个名称,next。

OS选择redhat6(对应centos6)。指定 HDP 版本和 HDP 的 yum 仓库位置,这里HDP的版本为2.6(因为前面搭建的本地库为2.6的版本)。而HDP的baseurl和HDP-UTILS的baseurl分别填写hdp.repo文件里的hdp的baseurl和HDP-UTILS的baseurl,下一步。

指定 Agent 机器, 这些机器会被安装 Hadoop 等软件包。

点击“Browse...”选择 Ambari Server 机器的私钥,本环境是:需要提供 Ambari Server root 账户的私钥,即/root/.ssh/ id_rsa 文件,由于.ssh 是隐藏文件,需要在/root 目录下右击,选 择”show Hidden Files ”,即可,进入.ssh 文件。(若任无法看到该文件,可再root下,用命令“firefox &”打开火狐浏览器即可)

选择”id_rsa”私钥文件:

自动安装Ambari Agent

我们需要选择要安装的软件名称,如:HDFS,YARN + MapReduce2,Zoopkeeper,Ambari Metrics等。这里需要注意某些 Service 是有依赖关系的。如果您选了一个需要依赖其他 Service 的一个 Service,Ambari 会提醒安装对应依赖的 Service。

分别是选择安装软件所指定的 Master 机器和 Slave 机器,以及 Client 机器。注意:Assign Masters中SNameNode必须跟NameNode在同一主机,否则Secondnamenode不能运行!

但DataNode和NodeManager一定要选(2.0以下没有NodeManager选项,但有TaskTraker,将它选上)。

接下来是:Assign Slaves and Clients(忘了截图),选择好后继续。

Ambari 会总结一个安装列表,供用户审阅。这里没问题,就直接下一步。

Ambari 会开始安装选择的 Service 到 Ambari Agent 的机器(如下图)。这里可能需要等好一会。安装完成之后,Ambari 就会启动这些 Service。如图所示:Service的安装进度

Ambari会在各主机下生成hdp的repo文件,自动进行安装,一般失败后继续Retry,在不停的fail、retry后,就成功了。

进入下一步:Summary ,点击Complete

安装完成之后,就可以查看 Ambari 的 Dashboard 了。例如下图:Amabri的Dashboard页面:

最后效果图:

 

 

参考文档:http://www.cnblogs.com/zlslch/p/6629235.html

                https://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/

参考视频教程:https://chuanke.baidu.com/v5145764-178408-928044.html?qq-pf-to=pcqq.c2c

© 著作权归作者所有

zctzl
粉丝 6
博文 13
码字总数 17327
作品 0
武汉
程序员
私信 提问
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
1K
0
Ambari离线安装hadoop集群所需资源包

ambari安装包 http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz HDP(Hortonworks Data Platform) http://public-repo-1.hortonworks.com/HDP/centos6/H......

遇见o未来
2015/01/27
6K
0
CentOS6、7局域网离线安装Ambari

(自己安装多遍,踩过各种坑,终于趟顺了,下面绝对完整版) (安装6、7的步骤一样,只是相关执行命令6、7会有差别) 1.1 Ambari Ambari的作用来说,就是创建、管理、监视 Hadoop的集群。Amb...

cp_panda_5
2018/04/18
0
0
ambari部署hadoop集群

1、基本工具 yum、scp、curl、wget、pdsh、ssh 2、环境准备 2.1、系统环境 Centos6.5 64bit Ambari 1.4.3.38 2.2、ambari server 与 ambari agent 服务器root ssh无密互访 Ambari server服务...

chunhei2008
2014/01/18
1K
0
centos7.4配置ambari2.4.0.1+HDP-2.5.0.0

前言   由于项目需求,最近需要使用ambari配置hdp,因此在公司找了台搭建一套测试环境,测试环境运行在kvm虚拟机上,ambari版本和hdp版本没有采用最新版进行配置,为了快速进行配置,使用了...

sdhzdtwhm
2018/07/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

nginx学习笔记

中间件位于客户机/ 服务器的操作系统之上,管理计算机资源和网络通讯。 是连接两个独立应用程序或独立系统的软件。 web请求通过中间件可以直接调用操作系统,也可以经过中间件把请求分发到多...

码农实战
今天
5
0
Spring Security 实战干货:玩转自定义登录

1. 前言 前面的关于 Spring Security 相关的文章只是一个预热。为了接下来更好的实战,如果你错过了请从 Spring Security 实战系列 开始。安全访问的第一步就是认证(Authentication),认证...

码农小胖哥
今天
11
0
JAVA 实现雪花算法生成唯一订单号工具类

import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import java.util.Calendar;/** * Default distributed primary key generator. * * <p> * Use snowflake......

huangkejie
昨天
12
0
PhotoShop 色调:RGB/CMYK 颜色模式

一·、 RGB : 三原色:红绿蓝 1.通道:通道中的红绿蓝通道分别对应的是红绿蓝三种原色(RGB)的显示范围 1.差值模式能模拟三种原色叠加之后的效果 2.添加-颜色曲线:调整图像RGB颜色----R色增强...

东方墨天
昨天
11
1
将博客搬至CSDN

将博客搬至CSDN

算法与编程之美
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部