文档章节

Ambari2.2.1.0 + HDP2.4 + HUE 安装

DanierWei
 DanierWei
发布于 2017/07/17 22:51
字数 1267
阅读 126
收藏 1

Ambari2.2.1.0 + HDP2.4 + HUE环境搭建

一、前言

  • 数据团队Hadoop集群目前只有线上环境,测试缺失使得有些流程上不通,例如ETL测试环境、平常依赖HDP组件的开发等等。以及后续线上集群升级测试环境可以预演。

  • Ambari采用Apache的版本 Apache Ambari文档地址,文档上Ubuntu 14的源地址有误,切记不要右击选择复制链接地址,得到的url为2.2.0.0的版本,直接选择复制。同时HDP也有集成,两者差别不大,也可以参考HDP的文档来安装。HDP Ambari文档地址。此次安装参考Apache的文档,比较简单。

  • 系统环境:Ubuntu14 + HDP2.4 + Amabri 2.2.1,查看系统信息命令lsb_release -a

    	No LSB modules are available.
    	Distributor ID:	Ubuntu
    	Description:	Ubuntu 14.04.5 LTS
    	Release:	14.04
    	Codename:	trusty
    
  • 全文都是以root账号进行操作。

二、准备

  • 安装mysql

    • ambari、hive、hue都有默认的依赖库,为了统一都改成mysql。连接客户端,创建相关库、用户已经设置权限。

    • mysql -uroot -proot登陆。

    • ambari mysql db/user create    参考

      	CREATE DATABASE ambari;
      
      	CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
      
      	CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
      
      	FLUSH PRIVILEGES;
      
      
    • hive mysql db/user create    参考

      	CREATE DATABASE hive;
      
      	CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
      
      	FLUSH PRIVILEGES;
      
    • hue mysql db/user create

      	CREATE DATABASE hue;
      
      	CREATE USER 'hue'@'%' IDENTIFIED BY 'hue';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'hue'@'%';
      
      	FLUSH PRIVILEGES;
      	```	
      
  • ssh 免密登陆,配置如下:

    • Ubuntu 默认已安装了SSH client,此外还需要安装 SSH server,如果SSH server已安装忽略此步骤。apt-get install openssh-server
    • 执行ssh localhost,此时会让你输入账号密码,到这一步退出,目的是为了自动创建~/.ssh文件夹。
    • cd ~/.ssh/
    • ssh-keygen -t rsa 提示让你输入的信息都按回车即可。
    • cat ./id_rsa.pub >> ./authorized_keys 加入授权。
    • 至此,免密已完成。 可以使用ssh localhost验证。
    • 如果需要root ssh免密到各个账号以及机器之间互相免密登陆,需要将各自的公钥id_rsa.pub copy到各个账号的~/.ssh下的authorized_keys文件中,authorized_keys不存在则创建一个。
  • 搭建私有源,因hortonworks虽然提供了官方源,但国内到外网的网速堪忧,需要搭建自己私有的源。官方文档地址,感谢运维同学~

三 、安装

  1. Ambari

    • 将私有源Ambari的ambari.list(deb http://xxxx/ Ambari main)下载地址替换Apache版本写入 /etc/apt/sources.list.d/ambari.list文件中。

    • apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD

    • apt-get update

    • apt-get install ambari-server

    • ambari-server setup

      setup 这一步主要是设置服务启动的账号,以及依赖的database、jdk等。可以全部选择默认的选项,此次安装除了database之外其他的都选择默认的配置。database信息已经在准备工作中初始化好了,此外还需要使用ambari账号登陆mysql切换到ambari库中,将ambari数据脚本初始化。执行sql语句:SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

      图1

    • 如果需要修改Ambari访问端口,vim /etc/ambari-server/conf/ambari.properties 添加client.api.port=8090

    • ambari-server start

    • http://xxxx:8090 (账号:admin 密码:admin)

  2. HDP

    图5 图6

    • 修复之后,点击Return Checks.
    • 选择需要安装的组件点击下一步,然后需要修改Hive依赖的database,都是准备工作中已经做完的。
      图7
    • 有些步骤在此不再累赘描述,默认选择下一步就好。如果有自己的源安装过程会很顺利,如果是官网的源会很痛苦,经常断掉。
      图8
  3. HUE

    • 参考1 参考2
    • 执行apt-get install python2.7-dev make libkrb5-dev libxml2-dev libffi-dev libxslt-dev libsqlite3-dev libssl-dev libldap2-dev python-pip安装hue依赖库。
    • 下载hue
    • 解压,修改desktop/conf/hue.ini配置文件中的database选项

    [[database]] ........... engine=mysql host=localhost port=3306 user=hue password=hue ........... name = hue ...........

    * 执行 `make apps`
    * 执行 `build/env/bin/./supervisor -d`启动
    * http://xxxx:8888
    
    

红红火火恍恍惚惚

© 著作权归作者所有

共有 人打赏支持
DanierWei
粉丝 1
博文 9
码字总数 5765
作品 0
杭州
私信 提问
CentOS7用ambari2.2.1.0部署HDP2.4报错

最近在CentOS7上部署HDP,按照官方文档的说明,利用Ambari2.2.1.0进行部署。 但是在安装完Ambari Server后,在Ambari控制台“Confirm Hosts”这一节点报错。 Ambari Agent向Ambari Server注册...

Royma_1990
2016/04/06
1K
2
Hue 3.9 on HDP2.3.4 安装备忘

安装步骤 基于CentOS,使用root账号 准备环境 使用安装HDP2.3.4 按 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bkinstallingmanuallybook/content/configurehdp_hue.html 配置......

孤岛旭日
2016/01/30
609
0
Cloudera Manager安装部署

1:下载jdk1.8 2:新建/usr/java文件夹 将jdk-8u11-linux-x64.tar.gz放到该文件夹中,并将工作目录切换到/usr/java目录下。如下图所示: 解压 tar -xzvf jdk-8u11-linux-x64.tar.gz 3:配置环...

罗文浩
2016/01/29
2.1K
3
安装docker hue 并导入到内部服务器

环境: Centos 7.2 Hue 因管理需求,内部服务器不能上外网,离线安装Hue又是很苦逼的活,于是考虑在外网环境安装docker 版的hue,然后导出镜像,再导入到内部服务器。 前提准备 安装docker ...

qq_39160721
05/10
0
0
hue3.9安装过程中遇到的问题及解决方法

在安装hue以前你的服务器上要安装以下软件: CentOS JDK Maven Git Hadoop Hive Python 1、下载hue https://github.com/cloudera/hue 2、编译hue 进入到hue的根目录,执行make apps 3、执行后...

sucre
2016/02/02
1K
3

没有更多内容

加载失败,请刷新页面

加载更多

jquery通过id显示隐藏

var $div3 = $('#div3'); 显示 $div3.show(); 隐藏 $div3.hide();

yan_liu
今天
3
0
《乱世佳人》读书笔记及相关感悟3900字

《乱世佳人》读书笔记及相关感悟3900字: 之前一直听「荔枝」,后来不知怎的转向了「喜马拉雅」,一听就是三年。上班的时候听房产,买房了以后听装修,兴之所至时听旅行,分手后听亲密关系,...

原创小博客
今天
3
0
大数据教程(9.6)map端join实现

上一篇文章讲了mapreduce配合实现join,本节博主将讲述在map端的join实现; 一、需求 实现两个“表”的join操作,其中一个表数据量小,一个表很大,这种场景在实际中非常常见,比如“订单日志...

em_aaron
今天
3
0
cookie与session详解

session与cookie是什么? session与cookie属于一种会话控制技术.常用在身份识别,登录验证,数据传输等.举个例子,就像我们去超市买东西结账的时候,我们要拿出我们的会员卡才会获取优惠.这时...

士兵7
今天
3
0
十万个为什么之为什么大家都说dubbo

Dubbo是什么? 使用背景 dubbo为什么这么流行, 为什么大家都这么喜欢用dubbo; 通过了解分布式开发了解到, 为适应访问量暴增,业务拆分后, 子应用部署在多台服务器上,而多台服务器通过可以通过d...

尾生
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部