文档章节

基于Ambari搭建Hadoop生态圈

Vegetable
 Vegetable
发布于 2017/07/10 15:43
字数 848
阅读 33
收藏 0

环境:

服务器:4台服务器 CentOS 6.5 ip分别为55(Master,唯一能访问外网) 49 29 32

Ambari 2.5.0.3

HDP 2.7

1.集群SSH免密

首先需要集群机器之间ssh免密,具体可查看CentOS 配置集群机器之间SSH免密码登录,其中

AuthorizedKeysFile ~/.ssh/authorized_keys

默认为:.ssh/a....,路径最好补全,否则有可能会免密失败

2.在55上建本地源

1.先安装制作本地repo的工具

yum install yum-utils createrepo

2.安装HTTP服务器如Apache Httpd服务

  • httpd服务,服务根目录是 /var/www/html
  • vi /etctpd/conftpd.conf
  • 启用ServerName:把 #ServerName www.example.com:80 修改为 ServerName hostname:80

    修改访问权限:

    将<Directory>标签下的内容替换为

  • <Directory />
       Options FollowSymLinks
       AllowOverride None
       Order allow,deny
       Allow from all
    </Directory>

    service httpd restart,重启httpd的服务让修改后的文件生效

  • 通过浏览器访问页面如果出现以下页面就说明服务启动成功了

        

3.创建本地源存放目录,并建立Ambari、HDP相关路径

mkdir -p /var/www/html/
cd /var/www/html
mkdir -p ambari/centos6
mkdir -p hdp/centos6/hdp
mkdir -p hdp/centos6/hdp-utils

4.同步Ambari,HDP和HDP-UTILS

wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo -O /etc/yum.repos.d/hdp.repo
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.dbari.repo

此时执行

yum repolist

能看见(应该还有Ambari的repo,此图不完整)

同步其中的HDP和HDP-UTILS

cd /var/www/html/hdp/centos6
reposync -r HDP-UTILS-1.1.0.21
reposync -r HDP-2.7.0.3
reposync -r Ambari-2.5.3

漫长等待最终会在执行reposync命令的目录下生成一个文件,以HDP-UTILS-1.1.0.21(约5.2G),HDP-2.7.0.3(约800M),Ambari命名(约1.5G),三个语句都依赖于网络,且速度比较慢,可以用两台机器同时同步,最终拷贝下载生成的文件到/var/www/html/hdp/centos6/hdp,hdp-utils或者/var/www/html/ambari/centos6目录即可。

5.制作本地源

分别到存放同步下来的三个文件所在的目录中执行

createrepo /var/www/html/hdp/centos6/hdp
createrepo /var/www/html/hdp/centos6/hdp-utils
createrepo /var/www/html/ambari/centos6

createrepo命令会获取本路径下的同步下来的文件制作成源,存放于紧跟其后的目录下,生成repodata一个文件。

3.在55上安装Ambari

1.安装

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

用yum repolist查看能看到

安装

yum install ambari-server

长时间等待后,安装成功

2.配置

键入如下命令进入配置引导环节

ambari-server setup
  • 如果还没有关闭SELinux,执行这个命令的过程中会提示“WARNING: SELinux is set to 'permissive' mode and temporarily disabled”,选择y。
  • 提示“Customize user account for ambari-server daemon”可选择n直接用默认的root用户,也可选y自定义,这里选n
  • 选择自动安装JDK可以选择1.8 ,他会自动下一个jdk并集成进来。
  • “Enter advanced database configuration” 直接选择n,会使用一个默认的PostgreSQL 数据库来存储,自动建立用户名密码为ambari/bigdata的账号,也可选择y 然后自己指定一个数据库

 3.启动Ambari

ambari-server start

启动之后即可访问http://localhost:8080 用户名密码admin

4.在其他机器上用55的Ambari本地源安装Ambari

5.安装生态圈

启动Ambari进入管理页面,选择CLUSTER INSTALL WIZARD

 

 

 

参考文献

官方文档

centos7制作Ambari本地源并安装

© 著作权归作者所有

共有 人打赏支持
Vegetable
粉丝 17
博文 45
码字总数 45932
作品 0
杭州
简单分析Ambari——顶级Hadoop管理方案

前面我们提到了两个比较火的Hadoop集群运维管理工具 Ambari和Cloudera Manager。它们集安装,配置,监控于一身,对于Hadoop的初学者可以起到很好的帮助作用。这篇文章就对Ambari着重介绍一下...

叁金
05/25
0
0
ambari部署hadoop集群

1、基本工具 yum、scp、curl、wget、pdsh、ssh 2、环境准备 2.1、系统环境 Centos6.5 64bit Ambari 1.4.3.38 2.2、ambari server 与 ambari agent 服务器root ssh无密互访 Ambari server服务...

chunhei2008
2014/01/18
0
0
使用Ambari快速部署Hadoop大数据环境

做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的...

cnxk
2013/12/05
0
0
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
0
0
centos7.4配置ambari2.4.0.1+HDP-2.5.0.0

前言   由于项目需求,最近需要使用ambari配置hdp,因此在公司找了台搭建一套测试环境,测试环境运行在kvm虚拟机上,ambari版本和hdp版本没有采用最新版进行配置,为了快速进行配置,使用了...

sdhzdtwhm
07/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

docker update:更新一个或多个容器的配置

更新容器的配置 docker update:更新一个或多个容器的配置。 具体内容请访问:https://docs.docker.com/engine/reference/commandline/update/#options 语法:docker update [OPTIONS] CONTA...

lwenhao
37分钟前
1
0
unload事件

unload事件不触发的原因分析 1.代码位置不对,应该优先加载,不能放到回调函数中 2.浏览器不支持 3.最可能的原因,unload事件中触发的函数是一个异步执行的函数,浏览器是不允许在窗口关闭之后在...

狮子狗
50分钟前
1
0
DbForge Schema Compare for MySQL入门教程:如何连接到数据库

【dbForge Schema Compare for MySQL下载】 要创建连接: 1. 在“Connection” 工具栏上单击“New Connection”按钮 。 2. 在“Host” 框中输入主机名。 3. 在“Port” 框中输入端口信息。默...

Miss_Hello_World
52分钟前
1
0
公众号关联微信小程序

公众号关联小程序发送关联通知,对于推广小程序有着很大的帮助。所以问题来了,怎么做到在公众号关联小程序发送关联通知呢? 一:开发中遇到的问题 之前在开发过程中发现,公众号已经关联小程...

Code辉
今天
1
0
并发编程基础之JMM学习摘要

一、JMM定义 Java内存模型即Java Memory Model(JMM),JMM决定一个线程对共享变量的写入何时对另一个线程可见(内存可见性),从抽象的角度来看,JMM定义了线程和主内存之间的抽象关系:线程...

狠一点
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部