文档章节

Ambari2.2.1.0 + HDP2.4 + HUE 安装

DanierWei
 DanierWei
发布于 2017/07/17 22:51
字数 1267
阅读 77
收藏 1
点赞 0
评论 0

Ambari2.2.1.0 + HDP2.4 + HUE环境搭建

一、前言

  • 数据团队Hadoop集群目前只有线上环境,测试缺失使得有些流程上不通,例如ETL测试环境、平常依赖HDP组件的开发等等。以及后续线上集群升级测试环境可以预演。

  • Ambari采用Apache的版本 Apache Ambari文档地址,文档上Ubuntu 14的源地址有误,切记不要右击选择复制链接地址,得到的url为2.2.0.0的版本,直接选择复制。同时HDP也有集成,两者差别不大,也可以参考HDP的文档来安装。HDP Ambari文档地址。此次安装参考Apache的文档,比较简单。

  • 系统环境:Ubuntu14 + HDP2.4 + Amabri 2.2.1,查看系统信息命令lsb_release -a

    	No LSB modules are available.
    	Distributor ID:	Ubuntu
    	Description:	Ubuntu 14.04.5 LTS
    	Release:	14.04
    	Codename:	trusty
    
  • 全文都是以root账号进行操作。

二、准备

  • 安装mysql

    • ambari、hive、hue都有默认的依赖库,为了统一都改成mysql。连接客户端,创建相关库、用户已经设置权限。

    • mysql -uroot -proot登陆。

    • ambari mysql db/user create    参考

      	CREATE DATABASE ambari;
      
      	CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
      
      	CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
      
      	FLUSH PRIVILEGES;
      
      
    • hive mysql db/user create    参考

      	CREATE DATABASE hive;
      
      	CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
      
      	FLUSH PRIVILEGES;
      
    • hue mysql db/user create

      	CREATE DATABASE hue;
      
      	CREATE USER 'hue'@'%' IDENTIFIED BY 'hue';
      
      	GRANT ALL PRIVILEGES ON *.* TO 'hue'@'%';
      
      	FLUSH PRIVILEGES;
      	```	
      
  • ssh 免密登陆,配置如下:

    • Ubuntu 默认已安装了SSH client,此外还需要安装 SSH server,如果SSH server已安装忽略此步骤。apt-get install openssh-server
    • 执行ssh localhost,此时会让你输入账号密码,到这一步退出,目的是为了自动创建~/.ssh文件夹。
    • cd ~/.ssh/
    • ssh-keygen -t rsa 提示让你输入的信息都按回车即可。
    • cat ./id_rsa.pub >> ./authorized_keys 加入授权。
    • 至此,免密已完成。 可以使用ssh localhost验证。
    • 如果需要root ssh免密到各个账号以及机器之间互相免密登陆,需要将各自的公钥id_rsa.pub copy到各个账号的~/.ssh下的authorized_keys文件中,authorized_keys不存在则创建一个。
  • 搭建私有源,因hortonworks虽然提供了官方源,但国内到外网的网速堪忧,需要搭建自己私有的源。官方文档地址,感谢运维同学~

三 、安装

  1. Ambari

    • 将私有源Ambari的ambari.list(deb http://xxxx/ Ambari main)下载地址替换Apache版本写入 /etc/apt/sources.list.d/ambari.list文件中。

    • apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD

    • apt-get update

    • apt-get install ambari-server

    • ambari-server setup

      setup 这一步主要是设置服务启动的账号,以及依赖的database、jdk等。可以全部选择默认的选项,此次安装除了database之外其他的都选择默认的配置。database信息已经在准备工作中初始化好了,此外还需要使用ambari账号登陆mysql切换到ambari库中,将ambari数据脚本初始化。执行sql语句:SOURCE /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

      图1

    • 如果需要修改Ambari访问端口,vim /etc/ambari-server/conf/ambari.properties 添加client.api.port=8090

    • ambari-server start

    • http://xxxx:8090 (账号:admin 密码:admin)

  2. HDP

    图5 图6

    • 修复之后,点击Return Checks.
    • 选择需要安装的组件点击下一步,然后需要修改Hive依赖的database,都是准备工作中已经做完的。
      图7
    • 有些步骤在此不再累赘描述,默认选择下一步就好。如果有自己的源安装过程会很顺利,如果是官网的源会很痛苦,经常断掉。
      图8
  3. HUE

    • 参考1 参考2
    • 执行apt-get install python2.7-dev make libkrb5-dev libxml2-dev libffi-dev libxslt-dev libsqlite3-dev libssl-dev libldap2-dev python-pip安装hue依赖库。
    • 下载hue
    • 解压,修改desktop/conf/hue.ini配置文件中的database选项

    [[database]] ........... engine=mysql host=localhost port=3306 user=hue password=hue ........... name = hue ...........

    * 执行 `make apps`
    * 执行 `build/env/bin/./supervisor -d`启动
    * http://xxxx:8888
    
    

红红火火恍恍惚惚

© 著作权归作者所有

共有 人打赏支持
DanierWei
粉丝 1
博文 9
码字总数 5765
作品 0
杭州
CentOS7用ambari2.2.1.0部署HDP2.4报错

最近在CentOS7上部署HDP,按照官方文档的说明,利用Ambari2.2.1.0进行部署。 但是在安装完Ambari Server后,在Ambari控制台“Confirm Hosts”这一节点报错。 Ambari Agent向Ambari Server注册...

Royma_1990 ⋅ 2016/04/06 ⋅ 2

Hue 3.9 on HDP2.3.4 安装备忘

安装步骤 基于CentOS,使用root账号 准备环境 使用安装HDP2.3.4 按 http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.4/bkinstallingmanuallybook/content/configurehdp_hue.html 配置......

孤岛旭日 ⋅ 2016/01/30 ⋅ 0

Cloudera Manager安装部署

1:下载jdk1.8 2:新建/usr/java文件夹 将jdk-8u11-linux-x64.tar.gz放到该文件夹中,并将工作目录切换到/usr/java目录下。如下图所示: 解压 tar -xzvf jdk-8u11-linux-x64.tar.gz 3:配置环...

罗文浩 ⋅ 2016/01/29 ⋅ 3

安装docker hue 并导入到内部服务器

环境: Centos 7.2 Hue 因管理需求,内部服务器不能上外网,离线安装Hue又是很苦逼的活,于是考虑在外网环境安装docker 版的hue,然后导出镜像,再导入到内部服务器。 前提准备 安装docker ...

qq_39160721 ⋅ 05/10 ⋅ 0

hue3.9安装过程中遇到的问题及解决方法

在安装hue以前你的服务器上要安装以下软件: CentOS JDK Maven Git Hadoop Hive Python 1、下载hue https://github.com/cloudera/hue 2、编译hue 进入到hue的根目录,执行make apps 3、执行后...

sucre ⋅ 2016/02/02 ⋅ 3

ubuntu上基于HUE 4.0的环境构建和使用

先看下HUE的架构,如图 1. Hue是什么? Hue是一个可快速开发和调试Hadoop生态系统各种应用的一个基于浏览器的图形化用户接口。 2. Hue能干什么? 访问HDFS和文件浏览 通过web调试和开发hive以...

wqhlmark64 ⋅ 2017/11/01 ⋅ 0

55.HUE管理工具

HUE管理工具 HUE是一个开源的Hadoop Ul系统,它基于Python WEB框架实现,通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据。 部署安装HUE3.11步骤: v 安装相关依赖包...

触动的风 ⋅ 2017/07/10 ⋅ 0

通过cloudera-manager来安装hadoop

通过cloudera-manager来安装hadoop 本人笨,装的过程碰了不少东西,其他网站转载的文章也没具体写清楚,以下我实战了下总结下来。 1. ssh登陆要安装管理界面的机器,确定关闭防火墙和selinux...

SANSOM ⋅ 2013/12/17 ⋅ 0

Centos 安装Hue

1、从hue官网(http://gethue.com/)下载一个tarball版( wget or 下载到本地) 2、rz 上传到服务器,解压到一个目录 3、安装依赖 : yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-...

王二铁 ⋅ 2015/06/11 ⋅ 0

Hue - Oozie Editor: Retrying connect to server: localhost/127.0.0.1:8050 的错误解决方法

本文原文出处: 严禁任何形式的转载,否则将委托CSDN官方维护权益! 问题描述 在当前版本的HUE(2.6.1-2)里,oozie editor存在一个糟糕的BUG: 用户无法在workflow的配置中指定${jobTracker}和$...

bluishglc ⋅ 2015/05/19 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Day 17 vim简介与一般模式介绍

vim简介 vi和Vim的最大区别就是编辑一个文件时vi不会显示颜色,而Vim会显示颜色。显示颜色更便于用户编辑,凄然功能没有太大的区别 使用 yum install -y vim-enhanced 安装 vim的三种常用模式...

杉下 ⋅ 53分钟前 ⋅ 0

【每天一个JQuery特效】根据可见状态确定是否显示或隐藏元素(3)

效果图示: 主要代码: <!DOCTYPE html><html><head><meta charset="UTF-8"><title>根据可见状态确定 是否显示或隐藏元素</title><script src="js/jquery-3.3.1.min.js" ty......

Rhymo-Wu ⋅ 今天 ⋅ 0

OSChina 周四乱弹 —— 初中我身体就已经垮了,不知道为什么

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @加油东溪少年 :下完这场雨 后弦 《下完这场雨》- 后弦 手机党少年们想听歌,请使劲儿戳(这里) @马丁的代码 :买了日本 日本果然赢了 翻了...

小小编辑 ⋅ 今天 ⋅ 12

浅谈springboot Web模式下的线程安全问题

我们在@RestController下,一般都是@AutoWired一些Service,由于这些Service都是单例,所以并不存在线程安全问题。 由于Controller本身是单例模式 (非线程安全的), 这意味着每个request过来,...

算法之名 ⋅ 今天 ⋅ 0

知乎Java数据结构

作者:匿名用户 链接:https://www.zhihu.com/question/35947829/answer/66113038 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 感觉知乎上嘲讽题主简...

颖伙虫 ⋅ 今天 ⋅ 0

Confluence 6 恢复一个站点有关使用站点导出为备份的说明

推荐使用生产备份策略。我们推荐你针对你的生产环境中使用的 Confluence 参考 Production Backup Strategy 页面中的内容进行备份和恢复(这个需要你备份你的数据库和 home 目录)。XML 导出备...

honeymose ⋅ 今天 ⋅ 0

JavaScript零基础入门——(九)JavaScript的函数

JavaScript零基础入门——(九)JavaScript的函数 欢迎回到我们的JavaScript零基础入门,上一节课我们了解了有关JS中数组的相关知识点,不知道大家有没有自己去敲一敲,消化一下?这一节课,...

JandenMa ⋅ 今天 ⋅ 0

火狐浏览器各版本下载及插件httprequest

各版本下载地址:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/ httprequest插件截至57版本可用

xiaoge2016 ⋅ 今天 ⋅ 0

Docker系列教程28-实战:使用Docker Compose运行ELK

原文:http://www.itmuch.com/docker/28-docker-compose-in-action-elk/,转载请说明出处。 ElasticSearch【存储】 Logtash【日志聚合器】 Kibana【界面】 答案: version: '2'services: ...

周立_ITMuch ⋅ 今天 ⋅ 0

使用快嘉sdkg极速搭建接口模拟系统

在具体项目研发过程中,一旦前后端双方约定好接口,前端和app同事就会希望后台同事可以尽快提供可供对接的接口方便调试,而对后台同事来说定好接口还仅是个开始、设计流程,实现业务逻辑,编...

fastjrun ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部