文档章节

[喵咪大数据]HUE大数据管理工具

喵了_个咪
 喵了_个咪
发布于 01/13 14:23
字数 839
阅读 162
收藏 5

日常的大数据使用中经常是在服务器命名行中进行操作,可视化功能仅仅依靠着各个组件自带的网页进行,那么有没有一个可以结合大家能在一个网页上的管理工具呢?答案是肯定的,今天就和大家一起来探索大数据管理工具HUE的庐山真面目.

附上:

喵了个咪的博客:w-blog.cn

1.环境准备

编译依赖

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi libffi-devel
ca /app/install
wget http://archive-primary.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.4.2.tar.gz
> chown -R root:root hue-3.7.0-cdh5.4.4
> chmod -R 777 hue-3.7.0-cdh5.4.4
# 启动方式
/app/install/hue-3.7.0-cdh5.4.4/build/env/bin/python2.7 /app/install/hue-3.7.0-cdh5.4.4/build/env/bin/hue runcherrypyserver

2.配置文件修改

修改配置文件

vim /app/install/hue-3.7.0-cdh5.4.4/desktop/conf/hue.ini
  • http_host = 0.0.0.0 (Hue Web Server所在主机/IP)
  • http_port = 8000 (Hue Web Server服务端口)
  • server_user = hadoop (运行Hue Web Server的进程用户)
  • server_group = hadoop (运行Hue Web Server的进程用户组)
  • default_user = hadoop (Hue管理员)
  • default_hdfs_superuser = hadoop (HDFS管理用户)
  • fs_defaultfs = hdfs://hadoop-1:8020 (对应core-site.xml配置项fs.defaultFS)
  • webhdfs_url = http://hadoop-1:50070/webhdfs/v1 (webhdfs访问地址)
  • hadoop_conf_dir = /usr/local/hadoop-2.7.3/etc/hadoop (Hadoop配置文件目录)
  • resourcemanager_host = hadoop (对应yarn-site.xml配置项yarn.resourcemanager.hostname)
  • resourcemanager_api_url = http://hadoop-1:8088 (对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address)
  • proxy_api_url = http://hadoop-1:8088 (对应yarn-site.xml配置项yarn.web-proxy.address)
  • history_server_api_url = http://hadoo-1:19888 (对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address)
  • hive_server_host = hadoop-1 (Hive所在节点主机名/IP)
  • hive_server_port = 10000 (HiveServer2服务端口号)
  • hive_conf_dir = /usr/local/hive-2.3.0/conf (Hive配置文件目录)

一定要增加一个hue用户

useradd hue

发现是webhdfs都是可以

curl –i "http://dev-hadoop:50070/webhdfs/v1/user?user.name=hadoop&op=GETFILESTATUS"

需要配置Hadoop访问权限

vim /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml

<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
</property>
vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

重启hadoop如果不行重启服务器

3.使用HUE

可以在线执行Hive语句(这里注意如果是Hbase关联表是无法在HUE平台使用的解决方法可以导出到Hive中的一个表在进查询)

直接查看hdfs文件系统

管理 hadoop 作业

管理zookeeper状态

关于hbase 不支持 thrift2 需要使用 hive使用thrift1 的版本才能结合使用 启动之后就可以看到如下结果

4 总结

在各种各样的组件下HUE无疑是最好的web工具的选择,HUE还有很多其他的功能包括我们后面要说到的spark,sqoop等相关的组件都可以通过HUE进行在线管理.

注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!

我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan

© 著作权归作者所有

共有 人打赏支持
喵了_个咪
粉丝 246
博文 140
码字总数 183725
作品 4
杨浦
技术主管
加载中

评论(1)

d
decm32
server_user ,server_group ,default_user 可以配hue吗
KafKa的介绍以及使用场景 KafKa

[喵咪KafKa(1)]KafKa的介绍以及使用场景 前言 哈喽!大家好呀,真是一坑未平一坑又起,otter还在继续更新的同时,笔者也为大家带来了关于kafka相关的一系列博客,要说到kafka就离不开现在特别火热...

优惠码优惠
06/24
0
0
[喵咪PHP]页面显示空白问题

哈喽!大家好啊,喵咪PHP第一次和大家见面了,熟悉的朋友呢也之道喵咪我也开了喵咪Liunx和喵咪Golang这两个坑目的呢是吧平常遇到的一些问题或者是在学习中的东西好工具分享出来和大家交流沟通,...

喵了_个咪
2016/06/09
408
0
#数据技术选型#即席查询Shib+Presto,集群任务调度HUE+Oozie

郑昀 创建于2014/10/30 最后更新于2014/10/31 一)选型:Shib+Presto 应用场景:即席查询(Ad-hoc Query) 1.1.即席查询的目标 使用者是产品/运营/销售运营的数据分析师; 要求数据分析师掌握...

旁观者-郑昀
2014/12/22
0
1
[喵咪Liunx(5)集群管理利器pssh

[喵咪Liunx(5)集群管理利器pssh 哈喽大家好呀!大家在管理服务器的时候如果只是一两台还好,当你管理三台以上的服务器的时候,你安装任何一个软件更改任何一个配置文件就要无比麻烦的每一台机器...

喵了_个咪
2016/10/17
60
0
大数据分析你不能不懂的6个核心技术

目前,大数据领域每年都会涌现出大量新的技术,成为大数据获取、存储、处理分析或可视化的有效手段。大数据技术能够将大规模数据中隐藏的信息和知识挖掘出来,为人类社会经济活动提供依据,提...

玄学酱
04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

[MicroPython]STM32F407开发板驱动OLED液晶屏

1.实验目的 1.学习在PC机系统中扩展简单I/O 接口的方法。 2.进一步学习编制数据输出程序的设计方法。 3.学习 F407 Micropython开发板控制OLED显示字符。 2.所需元器件 F407 Micropython开发板...

bodasisiter
26分钟前
0
0
php require和include 相对路径一个有趣的坑

以前总是被教育,不要使用相对路径,这样性能比较差,但是相对路径的问题不仅仅是性能哦,看下面这里例子 这是项目结构 .├── main.php├── t│ ├── t1.php│ └── t2.php└─...

anoty
26分钟前
13
0
x64技术之SSDT_Hook

测试环境: 虚拟机: Windows 7 64bit 过PG工具 驱动加载工具 PCHunter64 系统自带的计算器和任务管理器等 实现思路: 实际思路与win32的思路一样.都是替换SSDT表里边的函数地址.不过微软被搞怕...

simpower
27分钟前
0
0
TreeMap源码分析,看了都说好

一、简介 TreeMap最早出现在JDK 1.2中,是 Java 集合框架中比较重要一个的实现。TreeMap 底层基于红黑树实现,可保证在log(n)时间复杂度内完成 containsKey、get、put 和 remove 操作,效率很...

Java小铺
37分钟前
0
0
协变、逆变

概念 假设 A、B表示类型 ≤ 表示继承关系 f<⋅>表示类型转换 若A ≤ B,则 A是B的子类,B是A的超类 协变、逆变 什么是型变?型变(type variance)允许对类型进行子类型转换。 为了下面讲解先...

obaniu
43分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部