文档章节

透过nginx实现内网hadoop、hbase集群对外访问web界面

中成才
 中成才
发布于 2016/08/29 17:27
字数 452
阅读 95
收藏 0

不少公司为了安全,hadoop、hbase集群都是不对外开放,只有一台入口机对外,那么当要查看hadoop、hbase集群机器状态等信息时,就没办法了。

而要实现内网机器给外网访问,要解决的问题是: 1.hadoop、hbase页面上的url替换成外网能访问的url 2.通过有限的端口、外网ip对外提供整集群访问

强大的nginx正好能解决这个问题。而nginx要替换返回的页面内容,虽然它自己有模块可以实现,但据了解只能替换一次,而网上比较常用的是第三方的替换模块nginx_substitutions_filter,其主页:

整个实现步骤为:

  1. 下载nginx_substitutions_filter并解压: 根据官方的建议:   git clone git://github.com/yaoweibin/ngx_下载nginx稳定版并解压:   wget

  2. 编译安装 根据自己需要选择要适应的模块,并且指定substitutions4nginx模块的路径   ./configure --prefix=/usr/local/nginx --pid-path=/usr/local/nginx.pid --with-http_dav_module --with-http_flv_module --with-http_realip_module --with-http_gzip_static_module --with-http_stub_status_module --with-debug --add-module=/home/hadoop/nginx/third-party-md/ngx_http_substitutions_filter_module/

  make make install

  1. 配置nginx.conf   #替换hbase server { listen 8000; location / { proxy_pass http://master; subs_filter_types text/html text/css text/xml; subs_filter hd1:60030 192.168.1.25:8000/hd11; subs_filter hd2:60030 192.168.1.25:8000/hd22; } location /hd11/ { proxy_pass ; } location /hd22/ { proxy_pass ; } } #替换hadoop jt server { listen 8001; location / { proxy_pass http://master2; subs_filter_types text/html text/css text/xml; subs_filter hd1:50060 192.168.1.25:8001/hd11; subs_filter hd2:50060 192.168.1.25:8001/hd22; } location /hd11/ { proxy_pass ; } location /hd22/ { proxy_pass ; } } #替换hadoop nn server { listen 8002; location / { proxy_pass http://master3; subs_filter_types text/html text/css text/xml; subs_filter hd1:50075 192.168.1.25:8002/hd11; subs_filter hd2:50075 192.168.1.25:8002/hd22; } location /hd11/ { proxy_pass ; } location /hd22/ { proxy_pass ; } } upstream master { server 192.168.1.30:60010; } upstream master2 { server 192.168.1.25:50030; } upstream master3 { server 192.168.1.25:50070; }

重启ng服务让配置生效。

这样就可以通过统一ng入口访问内网集群了,后面如果有需要添加的修改nginx.conf就行。

本文转载自:http://www.educity.cn/wenda/149758.html

中成才
粉丝 54
博文 127
码字总数 49091
作品 0
海淀
架构师
私信 提问
分布式数据库 Hbase 的高可用管理和监控

HBase 作为 BigTable 的一个开源实现,随着其应用的普及,越来越被各大企业应用于海量数据系统中。本文将向读者简要介绍 Apache HBase 的基本知识,并展开介绍 IBM 对 HBase 的改进和扩展,H...

IBMdW
2013/06/14
3K
1
hbase权限管理(访问控制标签ACL)

版权声明:本文为博主原创文章,转载请注明来源。开发合作联系luanpenguestc@sina.com https://blog.csdn.net/luanpeng825485697/article/details/85605484 默认情况下,访问hbase是不需要用...

数据架构师
01/03
0
0
Hadoop上路_15-HBase0.98.0入门

以下操作在Hadoop分布式集群基础上进行。 一。分布式环境搭建 下载:http://www.apache.org/dyn/closer.cgi/hbase/ ,hbase-0.98.0-hadoop2-bin.tar.gz。 1.在master主控机安装HBase 1)解压...

vigiles
2014/04/03
0
0
【HBase】 - 单机模式、伪分布式、完全分布式配置

Hbase 简介 Hbase: Hadoop Database Hbase是非关系型数据库,随着现在互联网的数据量越来越多,需求更加多元化,传统的关系型数据库无法满足实际的业务需求,NoSql类型数据库孕育而生。 传统...

ZeroneLove
02/25
0
0
完全分布式集群(五)Hbase-1.2.6.1安装配置

环境信息 完全分布式集群(一)集群基础环境及zookeeper-3.4.10安装部署 hadoop集群安装配置过程 安装hive前需要先部署hadoop集群 完全分布式集群(二)hadoop2.6.5安装部署 Hbase集群安装部...

PeakFang-BOK
2018/10/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

ubuntu或ubuntu kylin优麒麟中安装QQ、wechat微信、百度网盘

从中国国内的地址下载deepin wine,码云上的。这样网速比较快。然后,按照说明向下安装。 https://gitee.com/wszqkzqk/deepin-wine-for-ubuntu...

gugudu
12分钟前
0
0
基于redis分布式锁实现“秒杀”

最近在项目中遇到了类似“秒杀”的业务场景,在本篇博客中,我将用一个非常简单的demo,阐述实现所谓“秒杀”的基本思路。 业务场景 所谓秒杀,从业务角度看,是短时间内多个用户“争抢”资源...

别打我会飞
32分钟前
8
0
Zookeeper的实践指南

本章重点 1.数据存储2.基于Java API初探Zookeeper的使用3.深入分析Watcher机制的实现原理4.Curator客户端的使用,简单高效 数据存储 事务日志快照日志运行时日志 bin/zookeepe...

须臾之余
35分钟前
1
0
MySQL mybatis Point类型数据

MySQL中的point用于表示GIS中的地理坐标,在GIS中广泛使用 如何写入mysql,如下图: CREATE TABLE `test-point` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '序号', `point` ......

张欢19933
46分钟前
2
0
设计模式-适配器模式

适配器模式 适配器模式(Adapter Pattern)是作为两个不兼容的接口之间的桥梁。这种类型的设计模式属于结构型模式,它结合了两个独立接口的功能。 这种模式涉及到一个单一的类,该类负责加入...

HOT_POT
今天
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部