文档章节

基于Ambari搭建Hadoop生态圈

Vegetable
 Vegetable
发布于 2017/07/10 15:43
字数 848
阅读 35
收藏 0

环境:

服务器:4台服务器 CentOS 6.5 ip分别为55(Master,唯一能访问外网) 49 29 32

Ambari 2.5.0.3

HDP 2.7

1.集群SSH免密

首先需要集群机器之间ssh免密,具体可查看CentOS 配置集群机器之间SSH免密码登录,其中

AuthorizedKeysFile ~/.ssh/authorized_keys

默认为:.ssh/a....,路径最好补全,否则有可能会免密失败

2.在55上建本地源

1.先安装制作本地repo的工具

yum install yum-utils createrepo

2.安装HTTP服务器如Apache Httpd服务

  • httpd服务,服务根目录是 /var/www/html
  • vi /etctpd/conftpd.conf
  • 启用ServerName:把 #ServerName www.example.com:80 修改为 ServerName hostname:80

    修改访问权限:

    将<Directory>标签下的内容替换为

  • <Directory />
       Options FollowSymLinks
       AllowOverride None
       Order allow,deny
       Allow from all
    </Directory>

    service httpd restart,重启httpd的服务让修改后的文件生效

  • 通过浏览器访问页面如果出现以下页面就说明服务启动成功了

        

3.创建本地源存放目录,并建立Ambari、HDP相关路径

mkdir -p /var/www/html/
cd /var/www/html
mkdir -p ambari/centos6
mkdir -p hdp/centos6/hdp
mkdir -p hdp/centos6/hdp-utils

4.同步Ambari,HDP和HDP-UTILS

wget -nv http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.0.3/hdp.repo -O /etc/yum.repos.d/hdp.repo
wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.dbari.repo

此时执行

yum repolist

能看见(应该还有Ambari的repo,此图不完整)

同步其中的HDP和HDP-UTILS

cd /var/www/html/hdp/centos6
reposync -r HDP-UTILS-1.1.0.21
reposync -r HDP-2.7.0.3
reposync -r Ambari-2.5.3

漫长等待最终会在执行reposync命令的目录下生成一个文件,以HDP-UTILS-1.1.0.21(约5.2G),HDP-2.7.0.3(约800M),Ambari命名(约1.5G),三个语句都依赖于网络,且速度比较慢,可以用两台机器同时同步,最终拷贝下载生成的文件到/var/www/html/hdp/centos6/hdp,hdp-utils或者/var/www/html/ambari/centos6目录即可。

5.制作本地源

分别到存放同步下来的三个文件所在的目录中执行

createrepo /var/www/html/hdp/centos6/hdp
createrepo /var/www/html/hdp/centos6/hdp-utils
createrepo /var/www/html/ambari/centos6

createrepo命令会获取本路径下的同步下来的文件制作成源,存放于紧跟其后的目录下,生成repodata一个文件。

3.在55上安装Ambari

1.安装

wget -nv http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.5.0.3/ambari.repo -O /etc/yum.repos.d/ambari.repo

用yum repolist查看能看到

安装

yum install ambari-server

长时间等待后,安装成功

2.配置

键入如下命令进入配置引导环节

ambari-server setup
  • 如果还没有关闭SELinux,执行这个命令的过程中会提示“WARNING: SELinux is set to 'permissive' mode and temporarily disabled”,选择y。
  • 提示“Customize user account for ambari-server daemon”可选择n直接用默认的root用户,也可选y自定义,这里选n
  • 选择自动安装JDK可以选择1.8 ,他会自动下一个jdk并集成进来。
  • “Enter advanced database configuration” 直接选择n,会使用一个默认的PostgreSQL 数据库来存储,自动建立用户名密码为ambari/bigdata的账号,也可选择y 然后自己指定一个数据库

 3.启动Ambari

ambari-server start

启动之后即可访问http://localhost:8080 用户名密码admin

4.在其他机器上用55的Ambari本地源安装Ambari

5.安装生态圈

启动Ambari进入管理页面,选择CLUSTER INSTALL WIZARD

 

 

 

参考文献

官方文档

centos7制作Ambari本地源并安装

© 著作权归作者所有

Vegetable
粉丝 19
博文 46
码字总数 46625
作品 0
杭州
私信 提问
简单分析Ambari——顶级Hadoop管理方案

前面我们提到了两个比较火的Hadoop集群运维管理工具 Ambari和Cloudera Manager。它们集安装,配置,监控于一身,对于Hadoop的初学者可以起到很好的帮助作用。这篇文章就对Ambari着重介绍一下...

叁金
2018/05/25
0
0
Ambari在离线环境中安装Hadoop集群

(WJW)Ambari在离线环境中安装Hadoop集群 如果手工安装Hadoop集群,在管理和后继部署中,越来越多的问题不断出现,主要如下:+ 各集群节点的配置同步+ 新应用的部署:比如为集群添加hbase应用,...

白石
2015/10/26
1K
0
[Hadoop] 使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现。Apache Amba...

长平狐
2013/06/03
190
0
[Hadoop] 使用Apache Ambari管理Hadoop

随着Hadoop越来越普及,对合适的管理平台的需求成为当前亟待解决的问题。已经有几个商业性的Hadoop管理平台,如Cloudera Enterprise Manager,但Apache Ambari是第一个开源实现。Apache Amba...

长平狐
2013/06/03
324
0
使用Ambari快速部署Hadoop大数据环境

做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的...

cnxk
2013/12/05
294
0

没有更多内容

加载失败,请刷新页面

加载更多

spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
9分钟前
1
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0
轻量级 HTTP(s) 代理 TinyProxy

CentOS 下安装 TinyProxy yum install -y tinyproxy 启动、停止、重启 # 启动service tinyproxy start# 停止service tinyproxy stop# 重启service tinyproxy restart 相关配置 默认...

Anoyi
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部