文档章节

Ambari在线部署hdp

xuesong13
 xuesong13
发布于 2014/10/17 17:35
字数 2229
阅读 1655
收藏 8

集群配置

1.1 集群组成

本次部署总共有4个节点,如下所示:

主机ip


主机名


操作系统

Cpu

(每个2核)

内存 作用
192.168.1.70

h70.hdp.ap

Centos6.5

1

4g

部署ambari

192.168.1.71

h71.hdp.ap

Centos6.5

2

3g

hdp部署节点1

192.168.1.72

h72.hdp.ap

Centos6.5

2

3g

hdp部署节点2

192.168.1.73

h73.hdp.ap

Centos6.5

2

4g

hdp部署节点3

    按照上述表中的主机名在对应的机器上修改它们的hostname,方法如下所示:

    在/etc/sysconfig/network中修改hostname项,修改完后重启生效,/etc/sysconfig/network内容如下所示:

    然后修改机器的/etc/hosts文件,将每个机器的hostnameip对应起来,将修改后的/etc/hosts文件复制到集群中的每台机器,操作如下所示:

1.2 配置ssh无密码登录

    因为在ambarihdp部署过程中,ambarihdp部署的节点都有可能互相访问,所以建议四个节点中的每个节点之间都可以ssh无密码登录,包括它们自己登录到自己。

    在每一台机器上执行如下操作,首先查看该用户根目录下的.ssh文件夹中是否有id_rsa文件,如果没有执行ssh-keygen命令,一路回车,然后查看生成的文件,为了避免之后的麻烦,建议将该目录下所有文件的权限修改成600,本文档部署在h71机器上的操作如下所示,其他机器类似:

    为了实现A节点无密码登录到B节点,需要将A节点的.ssh/id_rsa.pub文件内容添加到B节点的.ssh/authorized_keys文件中,下面给出了h72节点无密码登录到h70节点的方法,用类似的方法实现他们之间任意两个节点的无密码登录。

    首先将h72节点的.ssh/id_rsa.pub文件拷贝到h70节点上,注意不要放到.ssh文件夹中,这样会覆盖h70节点上的.ssh/id_rsa.pub文件,操作如下所示:

    首先将拷贝到h70节点上的id_rsa.pub文件内容添加到.ssh/authorized_keys文件中,操作如下所示:

 

    至此完成了h72节点无密码登录h70节点,测试如下:

 

    接下来用类似的方法实现他们之间任意两个节点的无密码登录。

1.1 配置ntp服务

    因为hdp中有服务需要集群的时间同步,所以集群中的每一个机器需要安装启动ntp服务保证集群时间的一致,安装启动如下所示:

    在集群中的每台机器完成上述操作。

1.4 关闭防火墙服务

    因为集群中的线程之间需要互相通信,所以需要合理配置防火墙,最简单的方式是直接关闭防火墙。操作如下所示:

 

1.5 配置selinuxumask

    为了避免引起不必要的麻烦,关闭集群节点上的selinux服务,然后重启,操作如下所示:

 

    如果机器安装了PackageKit,在/etc/yum/pluginconf.d/refresh-packagekit.conf中将其关闭,操作如下:

 

    确保集群中节点的umask值为022,操作如下:

 

准备部署软件

2.1 Jdk下载安装部署

    如果机器没有java环境,在安装ambarihdp过程中,yum会自动从网上下载jdk-7u45-linux-x64.tar.gz,如果网速很快的话,可以在线获取。本文档部署手动下载java包,用的是/jdk-7u67-linux-x64.tar.gz,下载地址为http://download.oracle.com/otn-pub/java/jdk/7u67-b01/jdk-7u67-linux-x64.tar.gz,下载完后,必须放在集群每个节点的相同目录,然后解压,操作过程如下图所示:

 

2.2 AmbariHDP下载配置

    本文档部署所用的软件为:

    1. ambari-1.6.1-centos6.tar.tar,下载地址为http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.6.1-centos6.tar.gz

    2. HDP-2.1.5.0-centos6-rpm.tar.tar,下载地址为http://public-repo-1.hortonworks.com/HDP/centos6/HDP-2.1.5.0-centos6-rpm.tar.gz

    3. HDP-UTILS-1.1.0.17-centos6.tar.tar,下载地址为http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.17/repos/centos6/HDP-UTILS-1.1.0.17-centos6.tar.gz。手动下载所需的上述软件;

    将下载的ambari-1.6.1-centos6.tar.tarHDP-2.1.5.0-centos6-rpm.tar.tarHDP-UTILS-1.1.0.17-centos6.tar.tar软件放到部署ambari的机器的/var/www/html目录下(该机器必须先安装httpd服务,并且启动httpd服务),然后解压,操作如下所示:

    在改机器上添加/etc/yum.repo.d/ambari.repo文件,它的内容如下所示,其中的192.168.1.70ip地址要换成部署ambari那台机器的ip

 

    在改机器上添加/etc/yum.repo.d/hdp.repo文件,它的内容如下所示,其中的192.168.1.70ip地址要换成部署ambari那台机器的ip

 

    然后将配置好的/ambari.repo hdp.repo文件复制到集群中的其他节点,操作如下所示:

 

2.3 Ambari安装部署

    在安装ambari的机器上执行yum install ambari-server命令,操作如下所示:

 

    没有报错的话,ambari-server安装成功,接下来执行ambari-server setup  -j /usr/local/jdk1.7.0_67命令,启动-j后面的操作指定jdk安装的位置,操作如下:

 

    接下来用ambari-server start命令启动ambari-server,用ambari-server stop命令关闭ambari-server,用ambari-server status命令查看ambari-server的启动状态,操作如下:

 

2.4 HDP安装部署

    Ambari-server启动成功后,可以通过http://{your.ambari.server}:8080访问,用户名和密码都是admin,访问界面如下所示:

 

    用admin登录,出现如下界面,接下来可以安装hdp,首先命名集群,选择下一步,操作如下所示:

    然后选择安装的hdp的版本,本次部署用HDP2.1,所以选择HDP2.1,点开下面的“Advanced Repository Options”,选择操作系统对应的选项,本次部署选择redhat6,修改其中“HDP-2.1”和“HDP-UTILS-1.1.0.17”指向的地址,修改成/etc/yum.repos.d/hdp.repo中它们指向的地址,本次部署“HDP-2.1”指向“http://192.168.1.70/HDP/centos6/2.x/updates/2.1.5.0”,“HDP-UTILS-1.1.0.17”指向“http://192.168.1.70/HDP-UTILS-1.1.0.17/repos/centos6”,然后点击下一步:

    然后在“Target Hosts”方框中填写部署hdp的集群,本次部署填写如下;还需要指定部署ambari机器的“SSH Private Key”,点击“选择文件”按钮,找到部署ambari机器上的“~/.ssh/id_rsa”文件,或者将该文件的内容复制到对应的方框中,然后点击“Register and Confirm”按钮:


    接下来会进行集群的注册和验证,出现下述画面代表成功,可以点击“Status”栏中的“Success”或者“Failed”查看日志,如下图所示:

    日志显示如下图所示:

 

    接下来下一步,显示“选择服务”界面,默认是全选,可以根据自己机器的配置和需要选择服务,本次部署全部选择,如下图所示:

 

    然后点击下一步,接下来显示的是“指定主节点”的界面,这个根据实际情况在下拉菜单中选择,尽可能均匀分配,如下图所示:


    然后点击下一步,接下来显示的是“指定从节点和客户端”的界面,这个根据实际情况选择服务,尽可能均匀分配,如下图所示:

 

    然后点击下一步,接下来显示的是“配置服务选项”的界面,这个根据机器性能配置,如下图所示:

 

    其中旁边显示红色小圆圈带数字的表示此项服务中的某些项必须配置,其中的“Hive”、“Oozie”和“Nagios”项中需要设置密码和email,点开进行配置,操作如下:

 

    然后点击下一步,接下来显示的是“复查”界面,显示了集群配置服务的情况,没有问题,点击“部署”按钮,如下图所示:

 

    接下来进入“安装、启动、测试”界面,如下图所示:


    在“安装、启动、测试”过程中,随时可以点击“Message”栏中的项查看日志,日志显示了部署的进展情况,如下图所示:

 

    下图截取了几张部署过程中的图,仅供参考:


    出现下面画面表示“安装、启动、测试”成功:

   然后点击下一步,显示的是“部署情况”界面,如下图所示:

 

    然后点击“完成”按钮,进入ambari管理界面,如下图所示:

 

部署注意事项

3.1 重启注意检查防火墙

    每次机器重启后,检查下防火墙的状态,如果防火墙开着,一定要执行关闭命令,操作如下:

 

3.2 更新openssl

    Centos6.5自带的openssl-1.0.1e-15.el6_5.x86_64在部署过程中会出现“error:100AE081:elliptic curve routines: EC_GROUP_new_by_curve_name: unknown group”的错误,更新openssl即可,操作如下所示:

 

    操作成功后查看openssl的版本更新了,如下图所示:

 

    也有很多问题是由这个openssl版本不兼容引起的,如下图在“Register and Confirm”步骤中出现问题,也与这个问题有关,建议更新下:




















© 著作权归作者所有

xuesong13
粉丝 5
博文 40
码字总数 34979
作品 0
海淀
程序员
私信 提问
加载中

评论(3)

蓝色感应
蓝色感应
很好!
skyim
skyim
文章不错,给你赞一下
黑帽子
黑帽子
文章很好,谢谢。
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
1K
0
ambari部署hadoop集群

1、基本工具 yum、scp、curl、wget、pdsh、ssh 2、环境准备 2.1、系统环境 Centos6.5 64bit Ambari 1.4.3.38 2.2、ambari server 与 ambari agent 服务器root ssh无密互访 Ambari server服务...

chunhei2008
2014/01/18
1K
0
Ambari离线安装hadoop集群所需资源包

ambari安装包 http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz HDP(Hortonworks Data Platform) http://public-repo-1.hortonworks.com/HDP/centos6/H......

遇见o未来
2015/01/27
6K
0
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

转载请务必注明原创地址为:http://dongkelun.com/2018/04/25/ambariConf/ 前言 本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停...

hblt-j
04/18
12
0
HDP2.6 Hadoop如何支持读写OSS

HDP和Ambari HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台,里面包含了Hadoop、Hive、HBase等很多开源组件,目前有不少用户直接使用HDP版本的Hadoop。Ambari是一个分布式...

冷月_wjh
2018/10/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Handler消息传递机制分析

Handler的用途和用法 写过Android程序的人大概都会遇到ANR(Application Not Responding)。如果程序在一段时间内没有响应,系统就会弹出一个对话框,让用户选择继续等待还是强制关闭应用。为...

tommwq
今天
5
0
JS前端MD5加密

Bootstrap官网获得md5 js地址:https://www.bootcdn.cn/blueimp-md5/ <!--MD5加密--><script src="https://cdn.bootcss.com/blueimp-md5/2.10.0/js/md5.js"></script> 使用方法: md5(pwd)......

被毒打的程序猿_先瑞
今天
8
0
BigDecimal 去后面无用的0的方法

BigDecimal a=new BigDecimal("0.1000"); System.out.println(a.stripTrailingZeros().toPlainString());...

xiaodong16
今天
7
0
JAVA--高级基础开发

[集合版双色球] 十二、双色球规则:双色球每注投注号码由6个红色球号码和1个蓝色球号码组成。红色球号码从1—33中选择;蓝色球号码从1—16中选择;请随机生成一注双色球号码。(要求同色号码...

李文杰-yaya
昨天
27
0
聊聊rocketmq broker的CONSUMER_SEND_MSG_BACK

序 本文主要研究一下rocketmq broker的CONSUMER_SEND_MSG_BACK CONSUMER_SEND_MSG_BACK rocketmq/common/src/main/java/org/apache/rocketmq/common/protocol/RequestCode.java public class......

go4it
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部