基于Ambari搭建Hadoop生态圈
基于Ambari搭建Hadoop生态圈
Vegetable 发表于9个月前
基于Ambari搭建Hadoop生态圈
  • 发表于 9个月前
  • 阅读 20
  • 收藏 0
  • 点赞 0
  • 评论 0

【腾讯云】新注册用户域名抢购1元起>>>   

环境:

服务器:4台服务器 CentOS 6.5 ip分别为55(Master,唯一能访问外网) 49 29 32

Ambari 2.5.0.3

HDP 2.7

1.集群SSH免密

首先需要集群机器之间ssh免密,具体可查看CentOS 配置集群机器之间SSH免密码登录,其中

AuthorizedKeysFile ~/.ssh/authorized_keys

默认为:.ssh/a....,路径最好补全,否则有可能会免密失败

2.在55上建本地源

1.先安装制作本地repo的工具

yum install yum-utils createrepo

2.安装HTTP服务器如Apache Httpd服务

  • httpd服务,服务根目录是 /var/www/html
  • vi /etctpd/conftpd.conf
  • 启用ServerName:把 #ServerName www.example.com:80 修改为 ServerName hostname:80

    修改访问权限:

    将<Directory>标签下的内容替换为

  • <Directory />
       Options FollowSymLinks
       AllowOverride None
       Order allow,deny
       Allow from all
    </Directory>

    service httpd restart,重启httpd的服务让修改后的文件生效

  • 通过浏览器访问页面如果出现以下页面就说明服务启动成功了

        

3.创建本地源存放目录,并建立Ambari、HDP相关路径

mkdir -p /var/www/html/
cd /var/www/html
mkdir -p ambari/centos6
mkdir -p hdp/centos6/hdp
mkdir -p hdp/centos6/hdp-utils

4.同步Ambari,HDP和HDP-UTILS

wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo -O /etc/yum.repos.d/hdp.repo
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.dbari.repo

此时执行

yum repolist

能看见(应该还有Ambari的repo,此图不完整)

同步其中的HDP和HDP-UTILS

cd /var/www/html/hdp/centos6
reposync -r HDP-UTILS-1.1.0.21
reposync -r HDP-2.7.0.3
reposync -r Ambari-2.5.3

漫长等待最终会在执行reposync命令的目录下生成一个文件,以HDP-UTILS-1.1.0.21(约5.2G),HDP-2.7.0.3(约800M),Ambari命名(约1.5G),三个语句都依赖于网络,且速度比较慢,可以用两台机器同时同步,最终拷贝下载生成的文件到/var/www/html/hdp/centos6/hdp,hdp-utils或者/var/www/html/ambari/centos6目录即可。

5.制作本地源

分别到存放同步下来的三个文件所在的目录中执行

createrepo /var/www/html/hdp/centos6/hdp
createrepo /var/www/html/hdp/centos6/hdp-utils
createrepo /var/www/html/ambari/centos6

createrepo命令会获取本路径下的同步下来的文件制作成源,存放于紧跟其后的目录下,生成repodata一个文件。

3.在55上安装Ambari

1.安装

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

用yum repolist查看能看到

安装

yum install ambari-server

长时间等待后,安装成功

2.配置

键入如下命令进入配置引导环节

ambari-server setup
  • 如果还没有关闭SELinux,执行这个命令的过程中会提示“WARNING: SELinux is set to 'permissive' mode and temporarily disabled”,选择y。
  • 提示“Customize user account for ambari-server daemon”可选择n直接用默认的root用户,也可选y自定义,这里选n
  • 选择自动安装JDK可以选择1.8 ,他会自动下一个jdk并集成进来。
  • “Enter advanced database configuration” 直接选择n,会使用一个默认的PostgreSQL 数据库来存储,自动建立用户名密码为ambari/bigdata的账号,也可选择y 然后自己指定一个数据库

 3.启动Ambari

ambari-server start

启动之后即可访问http://localhost:8080 用户名密码admin

4.在其他机器上用55的Ambari本地源安装Ambari

5.安装生态圈

启动Ambari进入管理页面,选择CLUSTER INSTALL WIZARD

 

 

 

参考文献

官方文档

centos7制作Ambari本地源并安装

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 13
博文 36
码字总数 43687
×
Vegetable
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: