文档章节

Ambari在离线环境中安装Hadoop集群

白石
 白石
发布于 2015/10/26 15:57
字数 2165
阅读 1638
收藏 5

(WJW)Ambari在离线环境中安装Hadoop集群

     如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:

  • 各集群节点的配置同步
  • 新应用的部署:比如为集群添加hbase应用,需要很细心复杂的配置才能完成,而且要是操作错误,还可能导致正常的集群崩溃
  • 新集群节点增加:同上
  • 集群架构调整:比如原来hdfs的namenode和ResourceManager等应用主节点都是放到一台服务器上的,当应用多后,需要调整独立,发现异常复杂
  • Hadoop集群监控 Apache有个项目Ambari能很好的解决上述所有问题!

     Ambari 跟 Hadoop 等开源软件一样,也是 Apache Software Foundation 中的一个项目,并且是顶级项目.目前最新的发布版本是 2.1.2.
就 Ambari 的作用来说,就是创建,管理,监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop.
用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具.
     说到这里,大家就应该明白什么人最需要 Ambari 了.那些苦苦花费好几天去安装,调试 Hadoop 的初学者是最能体会到 Ambari 的方便之处的.
而且,Ambari 现在所支持的平台组件也越来越多,例如流行的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进行部署.
     Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent.简单来说,用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;
Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护.

     生产中的hadoop集群机器都很多,而且基本都不允许连接公网,为方便快速部署,非常有必要建立一个本地Repository,使Ambari在离线环境中安装Hadoop集群!


[X] 安装环境:

  • 系统版本:CentOS 6.3 x86_64
  • JAVA版本:JDK-1.7.x
  • 确保机器的 Python 版本大于或等于2.6
  • 服务器列表:

192.168.68.17 T1.youyuan.cn #Ambari Server,namenode1,resourcemanager

192.168.68.18 T2.youyuan.cn #Ambari Agent,namenode2,journalnode1,datanode1,nodemanager1

192.168.68.20 T3.youyuan.cn #Ambari Agent,journalnode2,datanode2,nodemanager2

192.168.68.21 T4.youyuan.cn #Ambari Agent,journalnode3,datanode3,nodemanager3

  • SSL

需要openssl的1.0以上版本!

yum install openssl
或者
yum upgrade openssl
  • JDK

建议安装Sun的JDK1.7版本! 安装完毕并配置java环境变量,在/etc/profile末尾添加如下代码:
export JAVA_HOME=/usr/java/default
export PATH=$JAVA_HOME/bin:$PATH
保存退出即可,然后执行source /etc/profile生效.在命令行执行java -version 如下代表JAVA安装成功.

  • ssh

需要配置各个节点的免密码登录!
首先在自己机器上使用ssh-keygen -t rsa
会要求输入密码(必须为空),回车几次,然后会在HOME目录下生成.ssh文件夹,
里面有私钥和公钥,公钥为~/.ssh/id_rsa.pub,私钥为~/.ssh/id_rsa.
配置本地的免登录 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
现在你需要将你的公钥拷贝到服务器上,如果你的系统有ssh-copy-id命令,拷贝会很简单:ssh-copy-id 用户名@服务器名, 否则,你需要手动将你的私钥拷贝到服务器上的~/.ssh/authorized_keys文件中!scp ~/.ssh/authorized_keys T1.youyuan.cn:/root/.ssh/

  • NTP

集群的时钟要保证基本的一致.稍有不一致是可以容忍的,但是很大的不一致会 造成奇怪的行为. 运行 NTP 或者其他什么东西来同步你的时间.
如果你查询的时候或者是遇到奇怪的故障,可以检查一下系统时间是否正确!

echo "server 192.168.0.2" >> /etc/ntp.conf  
chkconfig ntpd on  
service ntpd restart  
ntpq -p  
  • ulimit和nproc

Hdaoop会在同一时间使用很多的文件句柄.大多数linux系统使用的默认值1024是不能满足的,修改/etc/security/limits.conf文件为:

      *               soft    nproc   16384
      *               hard    nproc   16384  
      *               soft    nofile  65536  
      *               hard    nofile  65536  

  • 修改 192.168.68.17,192.168.68.18,192.168.68.20,192.168.68.21etc/hosts文件 在文件最后添加:
192.168.68.17  T1.youyuan.cn
192.168.68.18  T2.youyuan.cn
192.168.68.20  T3.youyuan.cn 
192.168.68.21  T4.youyuan.cn

  • 禁止 PackageKit
pkill -9 packagekitd
vim /etc/yum/pluginconf.d/refresh-packagekit.conf

将内容改为enabled=0


[X] 安装Ambari Server

在T1上操作

[1] 安装基本软件并配置:

yum install yum-utils createrepo yum-plugin-priorities
yum install httpd

编辑/etc/yum/pluginconf.d/priorities.conf,修改为如下:

[main]
enabled=1
gpgcheck=0

设置httpd:

chkconfig httpd on
service httpd start

[2] 下载主要资源并配置:

采用P2P下载工具(如迅雷等)下载上述主要资源的完整包,再上传到本地源服务器进行部署.

CenOS最新镜像下载点:http://isoredirect.centos.org/centos/6/isos/x86_64/
下载后挂载,并拷贝所有内容到/var/www/html/centos6:

mount -o loop /data/install/CentOS-6.7-x86_64-bin-DVD/CentOS-6.7-x86_64-bin-DVD1.iso  /media
cp -r /media /var/www/html/centos6
umount /media

下载拷贝HDP-2.3.2.0和HDP-UTILS-1.1.0.20并解压到/var/www/html/hdp:

cd /data/temp
wget -O HDP-2.3.2.0-centos6-rpm.tar.gz http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.3.2.0/HDP-2.3.2.0-centos6-rpm.tar.gz
wget -O HDP-UTILS-1.1.0.20-centos6.tar.gz http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz
mkdir -p /var/www/html/hdp
tar xf HDP-2.3.2.0-centos6-rpm.tar.gz -C /var/www/html/hdp
tar xf HDP-UTILS-1.1.0.20-centos6.tar.gz -C /var/www/html/hdp

下载拷贝Ambari-2.1.2并解压到/var/www/html/ambari

wget -O ambari-2.1.2-centos6.tar.gz http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.2/ambari-2.1.2-centos6.tar.gz
mkdir -p /var/www/html/ambari
tar xf ambari-2.1.2-centos6.tar.gz -C /var/www/html/ambari

完成后结构如下:

[root@Ambari ~]#cd /var/www/html/
[root@yum html]#tree -L 2
.
├── ambari
│   └── ambari-2.1.2
├── centos6
│   ├── CentOS_BuildTag
│   ├── EFI
│   ├── EULA
│   ├── GPL
│   ├── images
│   ├── isolinux
│   ├── Packages
│   ├── RELEASE-NOTES-en-US.html
│   ├── repodata
│   ├── RPM-GPG-KEY-CentOS-6
│   ├── RPM-GPG-KEY-CentOS-Debug-6
│   ├── RPM-GPG-KEY-CentOS-Security-6
│   ├── RPM-GPG-KEY-CentOS-Testing-6
│   └── TRANS.TBL
└── hdp
    ├── HDP
    └── HDP-UTILS-1.1.0.20
    
11 directories, 9 files

创建完成后,就可以通过web路径访问测试了(路径可能不同):http://T1.youyuan.cn/ambari/ambari-2.1.2/centos6/,输出:

Index of /ambari/ambari-2.1.2/centos6

[ICO]	Name	Last modified	Size	Description
[DIR]	Parent Directory	 	-	 
[DIR]	RPM-GPG-KEY/	03-Oct-2015 22:48	-	 
[DIR]	ambari/	03-Oct-2015 22:48	-	 
[   ]	build.id	03-Oct-2015 22:48	566	 
[TXT]	build_metadata.txt	03-Oct-2015 22:48	196	 
[TXT]	changelog.txt	03-Oct-2015 22:48	0	 
[DIR]	repodata/	03-Oct-2015 22:48	-	 

Apache/2.2.15 (CentOS) Server at t1.youyuan.cn Port 80

[3] 配置本地repo文件:

在各个节点上都要操作!把原来的repo文件屏蔽掉

cd /etc/yum.repos.d/
rename .repo .repoBAK *.repo
#恢复指令
#cd /etc/yum.repos.d/
#rename .repoBAK .repo *.repoBAK

新建CentOS-Media.repo配置文件vi /etc/yum.repos.d/CentOS-Media.repo: 文件内容如下:

[CentOS6-Media]
name=CentOS6-Media
baseurl=http://T1.youyuan.cn/centos6
gpgcheck=1
enabled=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

[Ambari-2.1.2]
name=Ambari-2.1.2
baseurl=http://T1.youyuan.cn/ambari/ambari-2.1.2/centos6/
gpgcheck=0
enabled=1

[HDP-2.3.2.0]
name=HDP-2.3.2.0
baseurl=http://T1.youyuan.cn/hdp/HDP/centos6/2.x/updates/2.3.2.0
gpgcheck=0
enabled=1

[HDP-UTILS-1.1.0.20]
name=HDP-UTILS-1.1.0.20
baseurl=http://T1.youyuan.cn/hdp/HDP-UTILS-1.1.0.20/repos/centos6
gpgcheck=0
enabled=1

新建ambari.repo配置文件vi /etc/yum.repos.d/ambari.repo: 文件内容如下:

[Ambari-2.1.2]
name=Ambari-2.1.2
baseurl=http://T1.youyuan.cn/ambari/ambari-2.1.2/centos6/
gpgcheck=0
enabled=1

[4] 校验YUM仓库ambari:

执行yum repolist,

已加载插件:fastestmirror, priorities, security
Loading mirror speeds from cached hostfile
仓库标识                                                                                                                             仓库名称                                                                                                                             状态
Ambari-2.1.2                                                                                                                         Ambari-2.1.2                                                                                                                             6
CentOS6-Media                                                                                                                        CentOS6-Media                                                                                                                        6,575
HDP-2.3.2.0                                                                                                                          HDP-2.3.2.0                                                                                                                            175
HDP-UTILS-1.1.0.20                                                                                                                   HDP-UTILS-1.1.0.20                                                                                                                      42
repolist: 6,798

如果有向上面输出的话,就可以开始安装了!

[5] YUM在线安装: ambari-server

yum install ambari-server

等待安装完成!

[6] 配置AMBARI-SERVER

##指定JAVA_HOME
ambari-server setup -j /usr/java/default
##不指定JAVA_HOME执行
ambari-server setup

选择n会按默认配置
数据库类型:postgresql
数据库:ambari
用户名:ambari
密码:bigdata
等待安装完成

[7] 启动AMBARI-SERVER

##启动:
ambari-server start
##查看:
ps -ef | grep Ambari
##停止:
ambari-server stop
##帮助
ambari-server help

然后访问:http://T1.youyuan.cn:8080
不出意外的话就安装完成了
用户名/密码:admin/admin
Select Stack页面,打开Advanced Repository Options,要只选择redhat6,并且把Repository改成

http://T1.youyuan.cn/hdp/HDP/centos6/2.x/updates/2.3.2.0
http://T1.youyuan.cn/hdp/HDP-UTILS-1.1.0.20/repos/centos6

[8] 安装AMBARI-AGENT

在网络环境不好的地方或者sshd的端口不是标准的22时,可以在每个agent节点上先手工安装AMBARI-AGENT

yum install ambari-agent

备注:

  • Ambari安装的环境路径: 各台机器的安装目录:
/usr/lib/hadoop
/usr/lib/hbase
/usr/lib/zookeeper
/usr/lib/hcatalog
/usr/lib/hive 
  • Log路径, 这里需要看出错信息都可以在目录下找到相关的日志
/var/log/hadoop
/var/log/hbase
  • 配置文件的路径
/etc/hadoop
/etc/hbase
/etc/hive
  • HDFS的存储路径
/hadoop/hdfs

FAQ

  • 主机名格式必须是hoastname.domain,如T1.youyuan.cn
  • Zookeeper-Agent端修改Server指向的HOSTNAME, /etc/ambari-agent/conf/ambari-agent.ini,如修改过主机hostname
  • 安装失败后或重新安装先执行ambari-server resetambari-setup

© 著作权归作者所有

白石

白石

粉丝 67
博文 51
码字总数 102811
作品 1
海淀
程序员
私信 提问
Docker 将 Hadoop 带到云端

一周前我们发布并开源了Cloudbreak--首个基于hadoop的docker service API。本文将为您展示其技术细节和架构组成。 Cloudbreak 建立于Apache Ambari, Docker containers, Serf 和 dnsmasq ...

oschina
2014/07/28
4.9K
0
Ambari离线安装hadoop集群所需资源包

ambari安装包 http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz HDP(Hortonworks Data Platform) http://public-repo-1.hortonworks.com/HDP/centos6/H......

遇见o未来
2015/01/27
6K
0
ambari部署hadoop集群

1、基本工具 yum、scp、curl、wget、pdsh、ssh 2、环境准备 2.1、系统环境 Centos6.5 64bit Ambari 1.4.3.38 2.2、ambari server 与 ambari agent 服务器root ssh无密互访 Ambari server服务...

chunhei2008
2014/01/18
1K
0
简单分析Ambari——顶级Hadoop管理方案

前面我们提到了两个比较火的Hadoop集群运维管理工具 Ambari和Cloudera Manager。它们集安装,配置,监控于一身,对于Hadoop的初学者可以起到很好的帮助作用。这篇文章就对Ambari着重介绍一下...

叁金
2018/05/25
0
0
[Hadoop] 使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现。Apache Amba...

长平狐
2013/06/03
195
0

没有更多内容

加载失败,请刷新页面

加载更多

从AnnotationTransactionAspect开始rushSpring事务

0. Spring 事务 with LTW 0.1. Spring 事务 With LTW的原因: Pure Proxy-base mode有缺陷,其失效原因分析及使用方法及运行机制(LoadTimeWeaverBeanDefinitionParser和 AspectJWeavingEnable......

Aruforce
10分钟前
2
0
mac 安装protobuf 2.5.0

下载安装包 目前protobuf的最新版本是3.9.1,但是hadoop等好多框架依然依赖的是2.5.0,因此,最好不要安装最新的。 https://github.com/protocolbuffers/protobuf/releases/tag/v2.5.0 编译安...

hexiaoming123
14分钟前
3
0
Qt编写自定义控件52-颜色下拉框

一、前言 这个控件写了很久了,元老级别的控件之一,开发之初主要是自己的好几个项目要用到,比如提供一个颜色下拉框设置对应的曲线或者时间颜色,视频监控项目中经常用到的OSD标签设置,这个...

飞扬青云
22分钟前
2
0
Shell脚本应用 – for、while循环语句

通过Shell脚本应用(二)学习到了if条件条件语句的使用方法等。Shell作为一种脚本编程语言,同样了包含了循环,分支等其他程序控制结构,从而能够轻松完成更加复杂、强大的功能。我们今天就来...

Linux就该这么学
27分钟前
3
0
Sqoop之导入到Hive时特殊字符导致数据变乱

问题是这样的: Sqoop从关系型数据库导入数据到Hive时,发现数据量增多了,查找之后发现是由于源数据中含义\r\t\n特殊字符的数据,这样Hive遇到之后就将其视为换行,所以导入到Hive后数据条数...

克虏伯
29分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部