文档章节

基于Ambari搭建Hadoop生态圈

Vegetable
 Vegetable
发布于 2017/07/10 15:43
字数 848
阅读 32
收藏 0
点赞 0
评论 0

环境:

服务器:4台服务器 CentOS 6.5 ip分别为55(Master,唯一能访问外网) 49 29 32

Ambari 2.5.0.3

HDP 2.7

1.集群SSH免密

首先需要集群机器之间ssh免密,具体可查看CentOS 配置集群机器之间SSH免密码登录,其中

AuthorizedKeysFile ~/.ssh/authorized_keys

默认为:.ssh/a....,路径最好补全,否则有可能会免密失败

2.在55上建本地源

1.先安装制作本地repo的工具

yum install yum-utils createrepo

2.安装HTTP服务器如Apache Httpd服务

  • httpd服务,服务根目录是 /var/www/html
  • vi /etctpd/conftpd.conf
  • 启用ServerName:把 #ServerName www.example.com:80 修改为 ServerName hostname:80

    修改访问权限:

    将<Directory>标签下的内容替换为

  • <Directory />
       Options FollowSymLinks
       AllowOverride None
       Order allow,deny
       Allow from all
    </Directory>

    service httpd restart,重启httpd的服务让修改后的文件生效

  • 通过浏览器访问页面如果出现以下页面就说明服务启动成功了

        

3.创建本地源存放目录,并建立Ambari、HDP相关路径

mkdir -p /var/www/html/
cd /var/www/html
mkdir -p ambari/centos6
mkdir -p hdp/centos6/hdp
mkdir -p hdp/centos6/hdp-utils

4.同步Ambari,HDP和HDP-UTILS

wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo -O /etc/yum.repos.d/hdp.repo
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.dbari.repo

此时执行

yum repolist

能看见(应该还有Ambari的repo,此图不完整)

同步其中的HDP和HDP-UTILS

cd /var/www/html/hdp/centos6
reposync -r HDP-UTILS-1.1.0.21
reposync -r HDP-2.7.0.3
reposync -r Ambari-2.5.3

漫长等待最终会在执行reposync命令的目录下生成一个文件,以HDP-UTILS-1.1.0.21(约5.2G),HDP-2.7.0.3(约800M),Ambari命名(约1.5G),三个语句都依赖于网络,且速度比较慢,可以用两台机器同时同步,最终拷贝下载生成的文件到/var/www/html/hdp/centos6/hdp,hdp-utils或者/var/www/html/ambari/centos6目录即可。

5.制作本地源

分别到存放同步下来的三个文件所在的目录中执行

createrepo /var/www/html/hdp/centos6/hdp
createrepo /var/www/html/hdp/centos6/hdp-utils
createrepo /var/www/html/ambari/centos6

createrepo命令会获取本路径下的同步下来的文件制作成源,存放于紧跟其后的目录下,生成repodata一个文件。

3.在55上安装Ambari

1.安装

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

用yum repolist查看能看到

安装

yum install ambari-server

长时间等待后,安装成功

2.配置

键入如下命令进入配置引导环节

ambari-server setup
  • 如果还没有关闭SELinux,执行这个命令的过程中会提示“WARNING: SELinux is set to 'permissive' mode and temporarily disabled”,选择y。
  • 提示“Customize user account for ambari-server daemon”可选择n直接用默认的root用户,也可选y自定义,这里选n
  • 选择自动安装JDK可以选择1.8 ,他会自动下一个jdk并集成进来。
  • “Enter advanced database configuration” 直接选择n,会使用一个默认的PostgreSQL 数据库来存储,自动建立用户名密码为ambari/bigdata的账号,也可选择y 然后自己指定一个数据库

 3.启动Ambari

ambari-server start

启动之后即可访问http://localhost:8080 用户名密码admin

4.在其他机器上用55的Ambari本地源安装Ambari

5.安装生态圈

启动Ambari进入管理页面,选择CLUSTER INSTALL WIZARD

 

 

 

参考文献

官方文档

centos7制作Ambari本地源并安装

© 著作权归作者所有

共有 人打赏支持
Vegetable
粉丝 16
博文 45
码字总数 45932
作品 0
杭州
简单分析Ambari——顶级Hadoop管理方案

前面我们提到了两个比较火的Hadoop集群运维管理工具 Ambari和Cloudera Manager。它们集安装,配置,监控于一身,对于Hadoop的初学者可以起到很好的帮助作用。这篇文章就对Ambari着重介绍一下...

叁金
05/25
0
0
ambari部署hadoop集群

1、基本工具 yum、scp、curl、wget、pdsh、ssh 2、环境准备 2.1、系统环境 Centos6.5 64bit Ambari 1.4.3.38 2.2、ambari server 与 ambari agent 服务器root ssh无密互访 Ambari server服务...

chunhei2008
2014/01/18
0
0
使用Ambari快速部署Hadoop大数据环境

做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的...

cnxk
2013/12/05
0
0
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
0
0
centos7.4配置ambari2.4.0.1+HDP-2.5.0.0

前言   由于项目需求,最近需要使用ambari配置hdp,因此在公司找了台搭建一套测试环境,测试环境运行在kvm虚拟机上,ambari版本和hdp版本没有采用最新版进行配置,为了快速进行配置,使用了...

sdhzdtwhm
07/09
0
0
CentOS6、7局域网离线安装Ambari

(自己安装多遍,踩过各种坑,终于趟顺了,下面绝对完整版) (安装6、7的步骤一样,只是相关执行命令6、7会有差别) 1.1 Ambari Ambari的作用来说,就是创建、管理、监视 Hadoop的集群。Amb...

cp_panda_5
04/18
0
0
Ambari离线安装hadoop集群所需资源包

ambari安装包 http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz HDP(Hortonworks Data Platform) http://public-repo-1.hortonworks.com/HDP/centos6/H......

遇见o未来
2015/01/27
0
0
详解Linux运维工程师高级篇(大数据安全方向)

详解linux运维工程师高级篇(大数据安全方向) hadoop安全目录: kerberos(已发布) elasticsearch knox oozie ranger apache sentry 简介: 从运维青铜到运维白银再到运维黄金,这里就要牵...

cs312779641
02/07
0
0
APM 代理环境部署之 Hadoop 篇

面对企业中越来越复杂且相互依赖的 IT 环境和应用。IBM Cloud Application Performance Management (APM) 不仅是一个监控工具。更是可视化,可控性和自动化的解决方案。它是您身边的职能管家...

牛 凤枝
05/02
0
0
CentOS搭建本地yum源(http方式)

YUM介绍 YUM主要用于自动升级、安装移除rpm软件包,它能自动查找并解决rpm包之间的依赖关系,要成功的使用YUM工具更新系统和软件,需要有一个包含各种rpm软件包的repository(软件仓库),提...

遇见o未来
2015/01/27
0
2

没有更多内容

加载失败,请刷新页面

加载更多

下一页

MacOS和Linux内核的区别

导读 有些人可能认为MacOS和Linux内核有相似之处,因为它们可以处理类似的命令和类似的软件。甚至有人认为苹果的MacOS是基于linux的。事实上,这两个内核的历史和特性是非常不同的。今天,我...

问题终结者
8分钟前
1
0
SpringBoot | 第八章:统一异常、数据校验处理

前言 在web应用中,请求处理时,出现异常是非常常见的。所以当应用出现各类异常时,进行异常的捕获或者二次处理(比如sql异常正常是不能外抛)是非常必要的,比如在开发对外api服务时,约定了响...

oKong
16分钟前
0
0
mysql高级

一、存储引擎 InnoDB MyISAM 比较 二、数据类型 整型 浮点数 字符串 时间和日期 三、索引 索引分类 索引的优点 索引优化 B-Tree 和 B+Tree 原理 四、查询性能优化 五、切分 垂直切分 水平切分...

丁典
36分钟前
1
0
rsync通过同步服务、系统日志、screen工具

rsync通过后台服务同步 在远程主机中建立一个rsync服务器,在服务器上配置好rsync的各种应用,然后将本机作为rsync的一个客户端连接远程的rsync服务器。 首先在A机器上建立并且配置rsync的配...

黄昏残影
今天
4
0
Spring Cloud Gateway 接口文档聚合实现

在微服务架构下,通常每个微服务都会使用Swagger来管理我们的接口文档,当微服务越来越多,接口查找管理无形中要浪费我们不少时间,毕竟懒是程序员的美德。 由于swagger2暂时不支持webflux 走...

冷冷gg
今天
110
2
流利阅读笔记31-20180720待学习

克罗地亚:输了世界杯,却赢了全世界 雪梨 2018-07-20 1.今日导读 1998 年,年轻的克罗地亚国家队在法国世界杯给全世界留下了不可磨灭的印象,格子军团一举夺得了季军。4 年后,克罗地亚折戟...

aibinxiao
今天
3
0
OSChina 周五乱弹 —— 我们是食物链的最底层

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @温家成 :分享谢安琪的单曲《姿色份子》 《姿色份子》- 谢安琪 手机党少年们想听歌,请使劲儿戳(这里) @贪吃飒:最近p2p怎么了、半个月爆了...

小小编辑
今天
775
14
Android Studio 3.0 之后打包apk出现应用未安装问题

1、废话 出现这个问题的原因,并不是只有一个,而是有多个原因,不懂的估计会被搞得一头雾水,下面我列举的是我遇到的几种问题和网友遇到的几种问题,但不一定是全部,也有可能有些莫名其妙的...

她叫我小渝
今天
0
0
前端基础

1. get请求传参长度的误区 误区:我们经常说get请求参数的大小存在限制,而post请求的参数大小是无限制的。 实际上HTTP 协议从未规定 GET/POST 的请求长度限制是多少。对get请求参数的限制是...

wenxingjun
今天
0
0
拦截SQLSERVER的SSL加密通道替换传输过程中的用户名密码实现运维审计(一)

工作准备 •一台SQLSERVER 2005/SQLSERVER 2008服务 •SQLSERVER jdbc驱动程序 •Java开发环境eclipse + jdk1.8 •java反编译工具JD-Core 反编译JDBC分析SQLSERVER客户端与服务器通信原理 SQ...

紅顏為君笑
今天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部