文档章节

Ambari2.2.1.0 + HDP2.4 + HUE 安装

DanierWei
 DanierWei
发布于 2017/07/17 22:51
字数 1267
阅读 177
收藏 1

Ambari2.2.1.0 + HDP2.4 + HUE环境搭建

一、前言

  • 数据团队Hadoop集群目前只有线上环境,测试缺失使得有些流程上不通,例如ETL测试环境、平常依赖HDP组件的开发等等。以及后续线上集群升级测试环境可以预演。

  • Ambari采用Apache的版本 Apache Ambari文档地址,文档上Ubuntu 14的源地址有误,切记不要右击选择复制链接地址,得到的url为2.2.0.0的版本,直接选择复制。同时HDP也有集成,两者差别不大,也可以参考HDP的文档来安装。HDP Ambari文档地址。此次安装参考Apache的文档,比较简单。

  • 系统环境:Ubuntu14 + HDP2.4 + Amabri 2.2.1,查看系统信息命令lsb_release -a

    	No LSB modules are available.
    	Distributor ID:	Ubuntu
    	Description:	Ubuntu 14.04.5 LTS
    	Release:	14.04
    	Codename:	trusty
    
  • 全文都是以root账号进行操作。

二、准备

  • 安装mysql

    • ambari、hive、hue都有默认的依赖库,为了统一都改成mysql。连接客户端,创建相关库、用户已经设置权限。

    • mysql -uroot -proot登陆。

    • ambari mysql db/user create    参考

      	CREATE DATABASE ambari;
      
      	CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
      
      	CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
      
      	FLUSH PRIVILEGES;
      
      
    • hive mysql db/user create    参考

      	CREATE DATABASE hive;
      
      	CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
      
      	FLUSH PRIVILEGES;
      
    • hue mysql db/user create

      	CREATE DATABASE hue;
      
      	CREATE USER 'hue'@'%' IDENTIFIED BY 'hue';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'hue'@'%';
      
      	FLUSH PRIVILEGES;
      	```	
      
  • ssh 免密登陆,配置如下:

    • Ubuntu 默认已安装了SSH client,此外还需要安装 SSH server,如果SSH server已安装忽略此步骤。apt-get install openssh-server
    • 执行ssh localhost,此时会让你输入账号密码,到这一步退出,目的是为了自动创建~/.ssh文件夹。
    • cd ~/.ssh/
    • ssh-keygen -t rsa 提示让你输入的信息都按回车即可。
    • cat ./id_rsa.pub >> ./authorized_keys 加入授权。
    • 至此,免密已完成。 可以使用ssh localhost验证。
    • 如果需要root ssh免密到各个账号以及机器之间互相免密登陆,需要将各自的公钥id_rsa.pub copy到各个账号的~/.ssh下的authorized_keys文件中,authorized_keys不存在则创建一个。
  • 搭建私有源,因hortonworks虽然提供了官方源,但国内到外网的网速堪忧,需要搭建自己私有的源。官方文档地址,感谢运维同学~

三 、安装

  1. Ambari

    • 将私有源Ambari的ambari.list(deb http://xxxx/ Ambari main)下载地址替换Apache版本写入 /etc/apt/sources.list.d/ambari.list文件中。

    • apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD

    • apt-get update

    • apt-get install ambari-server

    • ambari-server setup

      setup 这一步主要是设置服务启动的账号,以及依赖的database、jdk等。可以全部选择默认的选项,此次安装除了database之外其他的都选择默认的配置。database信息已经在准备工作中初始化好了,此外还需要使用ambari账号登陆mysql切换到ambari库中,将ambari数据脚本初始化。执行sql语句:SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

      图1

    • 如果需要修改Ambari访问端口,vim /etc/ambari-server/conf/ambari.properties 添加client.api.port=8090

    • ambari-server start

    • http://xxxx:8090 (账号:admin 密码:admin)

  2. HDP

    图5 图6

    • 修复之后,点击Return Checks.
    • 选择需要安装的组件点击下一步,然后需要修改Hive依赖的database,都是准备工作中已经做完的。
      图7
    • 有些步骤在此不再累赘描述,默认选择下一步就好。如果有自己的源安装过程会很顺利,如果是官网的源会很痛苦,经常断掉。
      图8
  3. HUE

    • 参考1 参考2
    • 执行apt-get install python2.7-dev make libkrb5-dev libxml2-dev libffi-dev libxslt-dev libsqlite3-dev libssl-dev libldap2-dev python-pip安装hue依赖库。
    • 下载hue
    • 解压,修改desktop/conf/hue.ini配置文件中的database选项

    [[database]] ........... engine=mysql host=localhost port=3306 user=hue password=hue ........... name = hue ...........

    * 执行 `make apps`
    * 执行 `build/env/bin/./supervisor -d`启动
    * http://xxxx:8888
    
    

红红火火恍恍惚惚

© 著作权归作者所有

DanierWei
粉丝 1
博文 9
码字总数 5765
作品 0
杭州
私信 提问
CentOS7用ambari2.2.1.0部署HDP2.4报错

最近在CentOS7上部署HDP,按照官方文档的说明,利用Ambari2.2.1.0进行部署。 但是在安装完Ambari Server后,在Ambari控制台“Confirm Hosts”这一节点报错。 Ambari Agent向Ambari Server注册...

Royma_1990
2016/04/06
1K
2
Hue 3.9 on HDP2.3.4 安装备忘

安装步骤 基于CentOS,使用root账号 准备环境 使用安装HDP2.3.4 按 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bkinstallingmanuallybook/content/configurehdp_hue.html 配置......

孤岛旭日
2016/01/30
815
0
Cloudera Manager安装部署

1:下载jdk1.8 2:新建/usr/java文件夹 将jdk-8u11-linux-x64.tar.gz放到该文件夹中,并将工作目录切换到/usr/java目录下。如下图所示: 解压 tar -xzvf jdk-8u11-linux-x64.tar.gz 3:配置环...

罗文浩
2016/01/29
2.5K
3
安装docker hue 并导入到内部服务器

环境: Centos 7.2 Hue 因管理需求,内部服务器不能上外网,离线安装Hue又是很苦逼的活,于是考虑在外网环境安装docker 版的hue,然后导出镜像,再导入到内部服务器。 前提准备 安装docker ...

qq_39160721
2018/05/10
0
0
hue3.9安装过程中遇到的问题及解决方法

在安装hue以前你的服务器上要安装以下软件: CentOS JDK Maven Git Hadoop Hive Python 1、下载hue https://github.com/cloudera/hue 2、编译hue 进入到hue的根目录,执行make apps 3、执行后...

sucre
2016/02/02
2.1K
3

没有更多内容

加载失败,请刷新页面

加载更多

哪些情况下适合使用云服务器?

我们一直在说云服务器价格适中,具备弹性扩展机制,适合部署中小规模的网站或应用。那么云服务器到底适用于哪些情况呢?如果您需要经常原始计算能力,那么使用独立服务器就能满足需求,因为他...

云漫网络Ruan
今天
9
0
Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
今天
17
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
11
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
9
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部