文档章节

Centos7下的Ambari安装

lilong00404
 lilong00404
发布于 2018/08/11 11:06
字数 1627
阅读 307
收藏 4
  • 适合系统:RedHat 7 CentOS 7 Oracle Linux 7

Ambari 2.4.2.0

HDP-2.5.3.0

HDP-UTILS   1.1.0.21

Repo下载地址和base url

Ambari 2.4.2.0

Base url:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0

Repo:http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo

HDP-2.5.3.0

Base url:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0

Repo:http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/hdp.repo

HDP-UTILS   1.1.0.21

Base url:http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7

  • 环境准备

1、主机

192.168.1.2 AMBARI-001.hadoop

192.168.1.3 AMBARI-002.hadoop

192.168.1.4 AMBARI-003.hadoop

192.168.1.5 ambari-mysql

 

2、安装基础环境 (在主机AMBARI-001.hadoop,AMBARI-002.hadoop,AMBARI-003.hadoop部署)

(1)安装基本包

$ yum install openssh wget vim openssh-clients openssl gcc openssh-server mysql-connector-odbc -y

$ ambaristemctl enable sshd && ambaristemctl start sshd

 

(2)安装mysql jdbc 驱动

$ yum install mysql-connector-java -y

 

(3)安装JDK

版本要求:

Oracle JDK 1.8 64-bit (minimum JDK 1.8.0_77) (default)

Oracle JDK 1.7 64-bit (minimum JDK 1.7_67)

OpenJDK 8 64-bit (not supported on SLES)

OpenJDK 7 64-bit (not supported on SLES)

 

$ mkdir /usr/local/src/Ambari/

$wget http://download.oracle.com/otn-pub/java/jdk/8u112-b15/jdk-8u112-linux-x64.tar.gz?AuthParam=1480914946_a78f7ba2e70d2f0abed0b0af73c74214

$ mkdir -p /opt/java/ && tar xf jdk-8u112-linux-x64.tar.gz -C /opt/java

$ vim /etc/profile

添加下面内容:

export JAVA_HOME=/opt/java/jdk1.8.0_112

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

$ source /etc/profile

 

(4)配置SSH免密码登录

主节点里root用户登录执行如下步骤

$ ssh-keygen

$ cd ~/.ssh/

$ cat id_rsa.pub >> authorized_keys

$ chmod 600 ~/.ssh/authorized_keys

把各个主机上公钥id_rsa.pub文件内容放到各个主机authorized_keys中

 

(5)开启NTP服务

$ yum -y install ntp

$ ambaristemctl is-enabled ntpd

$ ambaristemctl enable ntpd

$ ambaristemctl start ntpd

 

(6)检查DNS和NSCD

ambari在安装时需要配置全域名,所以需要检查DNS。为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)

$ cat /etc/hosts

192.168.1.2 AMBARI-001.hadoop

192.168.1.3 AMBARI-002.hadoop

192.168.1.4 AMBARI-003.hadoop

192.168.1.5 ambari-mysql

 

(7)每台节点里配置FQDN,如下以主节点为例

$ cat /etc/ambarisconfig/network

NETWORKING=yes

HOSTNAME=AMBARI-001.hadoop

 

(8)关闭防火墙和SELinux

$ ambaristemctl disable firewalld

$ ambaristemctl stop firewalld

临时关闭,不用重启机器:

$ setenforce 0

修改配置文件让机器重启也生效:

$ cat /etc/ambarisconfig/selinux

SELINUX=disabled

 

  • 搭建数据库(在主机ambari-mysql上部署)

Ambari安装会将安装等信息写入数据库,建议使用自己安装的Mysql数据库,也可以不安装而使用默认数据库PostgreSQL

 

版本要求:

- PostgreSQL 8

- PostgreSQL 9.1.13+,9.3, 9.4***

- MariaDB 10*

- MySQL 5.6

- Oracle 11gr2

- Oracle 12c**

 

按你系统来选择源:http://downloads.mariadb.org/mariadb/repositories/

Here is your custom MariaDB YUM repository entry for CentOS. Copy and paste it into a file under /etc/yum.repos.d/ (we suggest naming the file MariaDB.repo or something similar).

 

# MariaDB 10.1 CentOS repository list - created 2016-12-09 06:03 UTC

# http://downloads.mariadb.org/mariadb/repositories/

[mariadb]

name = MariaDB

baseurl = http://yum.mariadb.org/10.1/centos7-amd64

gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB

gpgcheck=1

After the file is in place, install MariaDB with:

 

$ sudo yum install MariaDB-server MariaDB-client

If you haven't already accepted the MariaDB GPG key, you will be prompted to do so. See "Installing MariaDB with yum" for detailed information.

 

安装完成后创建ambari数据库及用户,登录root用户执行下面语句:

create database ambari character set utf8 ; 

CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';

GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';

FLUSH PRIVILEGES;

 

如果要安装Hive,再创建Hive数据库和用户 再执行下面的语句:

create database hive character set utf8 ; 

CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';

FLUSH PRIVILEGES;

 

如果要安装Oozie,再创建Oozie数据库和用户 再执行下面的语句:

create database oozie character set utf8 ; 

CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';

GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';

FLUSH PRIVILEGES;

 

  • 制作本地源 (在AMBARI-001.hadoop部署)

下载 Ambari HDP HDP-UTILS 源包(文件很大,需要很长下载时间,请耐心等待。。。)

cd  /usr/local/src/Ambari/

wget        http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari-2.4.2.0-centos7.tar.gz

wget        http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.5.3.0/HDP-2.5.3.0-centos7-rpm.tar.gz

wget        http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7/HDP-UTILS-1.1.0.21-centos7.tar.gz

 

安装本地源制作相关工具

$ yum install yum-utils createrepo -y

 

安装httpd服务

$ yum install httpd -y

$ ambaristemctl enable httpd && ambaristemctl start httpd

$ cd /var/www/html/ && mkdir ambari

$ cd /usr/local/src/Ambari/

$ tar xf ambari-2.4.2.0-centos7.tar.gz -C /var/www/html/ambari/

$ tar xf HDP-2.5.3.0-centos7-rpm.tar.gz -C /var/www/html/ambari/

$ tar xf HDP-UTILS-1.1.0.21-centos7.tar.gz -C /var/www/html/ambari/

 

验证httd网站是否可用,可以使用links 命令或者浏览器直接访问下面的地址:

$ links http://192.168.1.2/ambari/

结果是看到刚才解压的目录

 

配置ambari、HDP、HDP-UTILS的本地源

首先下载上面资源列表中的相应repo文件,修改其中的URL为本地的地址,相关配置如下:

$ cd /etc/yum.repos.d/

$ cat ambari.repo

#VERSION_NUMBER=2.4.2.0-136

[Updates-ambari-2.4.2.0]

name=ambari-2.4.2.0 - Updates

baseurl=http://192.168.1.2/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136

gpgcheck=1

gpgkey=http://192.168.1.2/ambari/AMBARI-2.4.2.0/centos7/2.4.2.0-136/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

$ cat hdp.repo

#VERSION_NUMBER=2.5.3.0

[HDP-2.5.3.0]

name=HDP Version - HDP-2.5.3.0

baseurl=http://192.168.1.2/ambari/HDP/centos7/2.x/updates/2.5.3.0

gpgcheck=1

gpgkey=http://192.168.1.2/ambari/HDP/centos7/2.x/updates/2.5.3.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

[HDP-UTILS-1.1.0.21]

name=HDP Utils Version - HDP-UTILS-1.1.0.21

baseurl=http://192.168.1.2/ambari/HDP-UTILS-1.1.0.21/repos/centos7

gpgcheck=1

gpgkey=http://192.168.1.2/ambari/HDP/centos7/2.x/updates/2.5.0.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

enabled=1

priority=1

 

$ yum clean all

$ yum makecache

$ yum repolist

 

  • 安装Ambari (在AMBARI-001.hadoop部署)

安装Ambari

$ yum install ambari-server -y

 

配置Ambari

$ ambari-server setup

 

下面是配置执行流程,按照提示操作

(1) 提示是否自定义设置。输入:y

Customize user account for ambari-server daemon [y/n] (n)? y

 

(2)ambari-server 账号。输入:ambari

Enter user account for ambari-server daemon (root):ambari

Adjusting ambari-server permissions and ownership...

 

(3)设置JDK。输入:3

Checking JDK...

Do you want to change Oracle JDK [y/n] (n)? y

[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

[] Custom JDK

==============================================================================

Enter choice (1): 3

 

(4)如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入:/opt/java/jdk1.8.0_112

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.

WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.

Path to JAVA_HOME: /opt/java/jdk1.8.0_112

Validating JDK on Ambari Server...done.

Completing setup...

 

(5)数据库配置。选择:y

Configuring database...

Enter advanced database configuration [y/n] (n)? y

 

(6)选择数据库类型。输入:3

Configuring database...

==============================================================================

Choose one of the following options:

[1] - PostgreSQL (Embedded)

[2] - Oracle

[3] - MySQL

[4] - PostgreSQL

[5] - Microsoft SQL Server (Tech Preview)

[6] - SQL Anywhere

==============================================================================

Enter choice (3): 3

 

(7)设置数据库的具体配置信息,根据实际情况输入,如果和括号内相同,则可以直接回车。

Hostname (localhost):

Port ():

Database name (ambari):

Username (ambari):

Enter Database Password (Ambari-123):

 

(8)将Ambari数据库脚本导入到数据库

如果使用自己定义的数据库,必须在启动Ambari服务之前导入Ambari的sql脚本

 

用Ambari用户(上面设置的用户)登录mysql

mysql -u ambari -p

use ambari

source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

 

(9)启动Amabri

$ ambari-server start

 

(10)成功启动后在浏览器输入Ambari地址:

http://ambari-001.hadoop:8080/

© 著作权归作者所有

lilong00404
粉丝 3
博文 13
码字总数 6035
作品 0
昌平
系统管理员
私信 提问
加载中

评论(2)

lilong00404
lilong00404 博主

引用来自“笨笨猴”的评论

我装过,遇到点小问题,除此以外还蛮顺利的
我这个呢?
笨笨猴
笨笨猴
我装过,遇到点小问题,除此以外还蛮顺利的
Ambari离线安装hadoop集群所需资源包

ambari安装包 http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz HDP(Hortonworks Data Platform) http://public-repo-1.hortonworks.com/HDP/centos6/H......

遇见o未来
2015/01/27
6K
0
CentOS7用ambari2.2.1.0部署HDP2.4报错

最近在CentOS7上部署HDP,按照官方文档的说明,利用Ambari2.2.1.0进行部署。 但是在安装完Ambari Server后,在Ambari控制台“Confirm Hosts”这一节点报错。 Ambari Agent向Ambari Server注册...

Royma_1990
2016/04/06
1K
2
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

转载请务必注明原创地址为:http://dongkelun.com/2018/04/25/ambariConf/ 前言 本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停...

hblt-j
04/18
11
0
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
1K
0
CentOS6、7局域网离线安装Ambari

(自己安装多遍,踩过各种坑,终于趟顺了,下面绝对完整版) (安装6、7的步骤一样,只是相关执行命令6、7会有差别) 1.1 Ambari Ambari的作用来说,就是创建、管理、监视 Hadoop的集群。Amb...

cp_panda_5
2018/04/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

一次看懂 Https 证书认证

TLS > 传输层安全性协定 TLS(Transport Layer Security),及其前身安全套接层 SSL(Secure Sockets Layer)是一种安全协议,目的是为网际网路通信,提供安全及数据完整性保障。 如图,TLS...

极客收藏夹
37分钟前
4
0
https证书买哪家好?有哪些供应商

在选购https证书前除了要了解类型外,还需要了解https证书供应商,毕竟不同的供应商,提供的产品质量与服务也是有差异的。今天小编就为大家讲讲https证书供应商方面的内容,希望各位会喜欢。...

安信证书
39分钟前
5
0
Zuul 配置

概述:zuul底层是基于servlet,是由一系列的filter链构成。 1、路由配置 a、单例serverId映射 zuul: routes: client-a: path: /client/** serviceId: client-a 意思是...

java框架开发者
56分钟前
3
0
zk中FinalRequestProcessor解析

是处理器最后一个环节 FinalRequestProcessor implements RequestProcessor 处理器链最后一个环节处理事务和非事务请求最后一个环节 构造器 public FinalRequestProcessor(ZooKeeperServer z...

writeademo
56分钟前
4
0
Axios 详解

首先祝广大程序猿们节日快乐! 一、axios简介 基于promise,用于浏览器和node.js的http客户端 二、特点 支持浏览器和 node.js 支持 promise 能拦截请求和响应 能转换请求和响应数据 能取消请求...

张兴华ZHero
57分钟前
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部