文档章节

基于Ambari搭建Hadoop生态圈

Vegetable
 Vegetable
发布于 2017/07/10 15:43
字数 848
阅读 33
收藏 0

环境:

服务器:4台服务器 CentOS 6.5 ip分别为55(Master,唯一能访问外网) 49 29 32

Ambari 2.5.0.3

HDP 2.7

1.集群SSH免密

首先需要集群机器之间ssh免密,具体可查看CentOS 配置集群机器之间SSH免密码登录,其中

AuthorizedKeysFile ~/.ssh/authorized_keys

默认为:.ssh/a....,路径最好补全,否则有可能会免密失败

2.在55上建本地源

1.先安装制作本地repo的工具

yum install yum-utils createrepo

2.安装HTTP服务器如Apache Httpd服务

  • httpd服务,服务根目录是 /var/www/html
  • vi /etctpd/conftpd.conf
  • 启用ServerName:把 #ServerName www.example.com:80 修改为 ServerName hostname:80

    修改访问权限:

    将<Directory>标签下的内容替换为

  • <Directory />
       Options FollowSymLinks
       AllowOverride None
       Order allow,deny
       Allow from all
    </Directory>

    service httpd restart,重启httpd的服务让修改后的文件生效

  • 通过浏览器访问页面如果出现以下页面就说明服务启动成功了

        

3.创建本地源存放目录,并建立Ambari、HDP相关路径

mkdir -p /var/www/html/
cd /var/www/html
mkdir -p ambari/centos6
mkdir -p hdp/centos6/hdp
mkdir -p hdp/centos6/hdp-utils

4.同步Ambari,HDP和HDP-UTILS

wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo -O /etc/yum.repos.d/hdp.repo
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.dbari.repo

此时执行

yum repolist

能看见(应该还有Ambari的repo,此图不完整)

同步其中的HDP和HDP-UTILS

cd /var/www/html/hdp/centos6
reposync -r HDP-UTILS-1.1.0.21
reposync -r HDP-2.7.0.3
reposync -r Ambari-2.5.3

漫长等待最终会在执行reposync命令的目录下生成一个文件,以HDP-UTILS-1.1.0.21(约5.2G),HDP-2.7.0.3(约800M),Ambari命名(约1.5G),三个语句都依赖于网络,且速度比较慢,可以用两台机器同时同步,最终拷贝下载生成的文件到/var/www/html/hdp/centos6/hdp,hdp-utils或者/var/www/html/ambari/centos6目录即可。

5.制作本地源

分别到存放同步下来的三个文件所在的目录中执行

createrepo /var/www/html/hdp/centos6/hdp
createrepo /var/www/html/hdp/centos6/hdp-utils
createrepo /var/www/html/ambari/centos6

createrepo命令会获取本路径下的同步下来的文件制作成源,存放于紧跟其后的目录下,生成repodata一个文件。

3.在55上安装Ambari

1.安装

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

用yum repolist查看能看到

安装

yum install ambari-server

长时间等待后,安装成功

2.配置

键入如下命令进入配置引导环节

ambari-server setup
  • 如果还没有关闭SELinux,执行这个命令的过程中会提示“WARNING: SELinux is set to 'permissive' mode and temporarily disabled”,选择y。
  • 提示“Customize user account for ambari-server daemon”可选择n直接用默认的root用户,也可选y自定义,这里选n
  • 选择自动安装JDK可以选择1.8 ,他会自动下一个jdk并集成进来。
  • “Enter advanced database configuration” 直接选择n,会使用一个默认的PostgreSQL 数据库来存储,自动建立用户名密码为ambari/bigdata的账号,也可选择y 然后自己指定一个数据库

 3.启动Ambari

ambari-server start

启动之后即可访问http://localhost:8080 用户名密码admin

4.在其他机器上用55的Ambari本地源安装Ambari

5.安装生态圈

启动Ambari进入管理页面,选择CLUSTER INSTALL WIZARD

 

 

 

参考文献

官方文档

centos7制作Ambari本地源并安装

© 著作权归作者所有

共有 人打赏支持
Vegetable
粉丝 18
博文 46
码字总数 46625
作品 0
杭州
私信 提问
简单分析Ambari——顶级Hadoop管理方案

前面我们提到了两个比较火的Hadoop集群运维管理工具 Ambari和Cloudera Manager。它们集安装,配置,监控于一身,对于Hadoop的初学者可以起到很好的帮助作用。这篇文章就对Ambari着重介绍一下...

叁金
05/25
0
0
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
0
0
[Hadoop] 使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现。Apache Amba...

长平狐
2013/06/03
155
0
[Hadoop] 使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现。Apache Amba...

长平狐
2013/06/03
293
0
使用Ambari快速部署Hadoop大数据环境

做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的...

cnxk
2013/12/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式Session共享解决方案

分布式Session一致性? 说白了就是服务器集群Session共享的问题 Session的作用? Session 是客户端与服务器通讯会话跟踪技术,服务器与客户端保持整个通讯的会话基本信息。 客户端在第一次访...

Java干货分享
6分钟前
0
0
开源软件和开源模式面临的生存危机

导读 开源模式可能正面临一场危机。越来越多的开源软件和平台被大型云计算服务商融入自家的云服务体系,并以此获利颇丰,但并不支付费用,也没有对开源社区做出相应的回馈。而实际上,大部分...

问题终结者
8分钟前
0
0
让看不见的AI算法,助你拿下看得见的广阔市场

人工智能技术的飞速发展给各行各业都带来了深远的影响,AI已被视为企业提升运营效能、应对市场竞争的必经之路。然而对于一些企业而言,让AI真正实现落地和应用,并且创造价值,仍是一件需要努...

个推
13分钟前
0
0
用SAN还是NAS?我来告诉你

存储区域网络(SAN)是以一种结构连接的存储,通常通过交换机连接,使许多不同的服务器能够轻松访问存储设备。从服务器应用程序和操作系统的角度来看,访问SAN中的数据存储或直接连接的存储之间...

linux-tao
16分钟前
0
0
centos7 部署Apache服务器

centos7 部署Apache服务器 置顶 2017年09月05日 09:12:49 师太,老衲把持不住了 阅读数:19700 飞翔科技 2017-09-04 16:24 Apache程序是目前拥有很高市场占有率的Web服务程序之一,其跨平台和...

linjin200
48分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部