文档章节

Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)

chaun
 chaun
发布于 2015/04/15 15:21
字数 680
阅读 82
收藏 1

1.安装软件

    OS:centos6.5

    Hadoop:hadoop2.6.0

    Hbase:hbase.1.0.0

   JDK: jdk1.7.0_51

集群机器:

    192.168.153.130(hadoop130 namenode)

    192.168.153.131 (hadoop131datanode)

    192.168.153.132 (hadoop132datanode)

2.安装步骤

    如下安装步骤假设的JDK已经安装,如果未安装请自行查找JDK安装教程。

2.1 安装hadoop

(1)下载hadoop版本(hadoop2.6.0),下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/   在此路径下选择相应的版本下载。

(2)解压hadoop-2.6.0.tar.gz

    tar zxvf hadoop-2.6.0.tar.gz  -C /home/hadoop001/thirdparty/

    将hadoop解压到/home/hadoop001/thirdparty/ 目录下。

(3)将hadoop添加到环境变量中

    vim ~/.bashrc 打开.bashrc文件添加HADOOP_HOME

    exportJAVA_HOME=/home/hadoop001/thirdparty/jdk1.7.0_51

    export PATH=$HADOOP_HOME/bin:$PATH

(4)修改配置文件($HADOOP_HOME/etc/hadoop目录下)

 配置core-site.xml

 

配置hdfs-site.xml:

配置mapred-site.xml文件

 

配置yarn-site.xml文件


修改slaves文件,添加datanode节点hostname到slaves文件中

   hadoop131

   hadoop130

(5)格式化集群,在hadoop130节点上执行如下命令:

    hadoopnamenode -format

(6)启动集群,在hadoop130节点上执行如下命令:

    start-all.sh

(7) 通过浏览器查看hadoop是否安装成功:

    输入: http://hadoop130:50070

   

    输入:http://hadoop130:8088/

   

2.2 安装Hbase

(1)下载hbase版本

    下载地址:http://www.apache.org/dyn/closer.cgi/hbase/,在此路径下选择相应的版本下载,本次安装下载hadoop1.0.0版本

(2)解压hbase-1.0.0-bin.tar.gz

    tar zxvf hbase-1.0.0-bin.tar.gz –C/home/hadoop001/thirdparty/

(3)将hbase添加到环境变量中

    exportHBASE_HOME=/home/hadoop001/thirdparty/hbase-1.0.0

    export PATH=$HBASE_HOME/bin:$PATH

(4)修改配置文件

    修改hbase-env.sh

    exportJAVA_HOME=/home/hadoop001/thirdparty/jdk1.7.0_51

    修改hbase-site.xml

   

备注:

    在上面的配置文件中,第一个属性指定本机的hbase的存储目录;第二个属性指定hbase的运行模式,true代表全分布模式;第三和第四个属性是关于Zookeeper集群的配置。我的Zookeeper安装在hadoop130,hadoop131和hadoop132上。

修改regionservers,在regionservers文件中添加如下内容:

    hadoop131

    hadoop130

(5)启动hbase

    启动hbase时要确保hdfs已经启动。在主节点上执行:

    start-hbase.sh

    启动成功后集群会多出如下进程:

    NameNode节点:

   

    Datanode节点:

         

    通过浏览器查看:

    输入:http://hadoop130:16030

    

2.3 Hbase shell测试

(1)执行hbase shell 命令:

(2)创建testtable表

     create 'testtable', 'colfaml'

(3)put数据

     hbase shell是基于Ruby实现的,因此使用过程中可以将hbase shell与Ruby代码混合使用,此示例参考《HBase权威指南》p-66页shell介绍。

    for i in 'a'..'z' do for j in 'a'..'z' do \

    put 'testtable' , "row-#{i}#{j}","colfaml:#{j}" ,"#{j}" end end(4)查看插入数据

    scan 'testtable'

    部分结果截图:

   

3.常用参数(待续)

4.备注

    目前安装所有配置都是最简配置,并没有考虑参数优化,此教程的目的是让Hbase先跑起来,优化后期继续做。

本文转载自:http://blog.csdn.net/wuwenxiang91322/article/details/44684655

chaun
粉丝 92
博文 269
码字总数 91059
作品 0
深圳
高级程序员
私信 提问
完全分布式集群(五)Hbase-1.2.6.1安装配置

环境信息 完全分布式集群(一)集群基础环境及zookeeper-3.4.10安装部署 hadoop集群安装配置过程 安装hive前需要先部署hadoop集群 完全分布式集群(二)hadoop2.6.5安装部署 Hbase集群安装部...

PeakFang-BOK
2018/10/16
109
0
弥补MySQL和Redis短板:看HBase怎么确保高可用

HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型,面向实时读写、随机访问大规模数据集的场景,是一个高可靠性、高性能、高伸缩的分布式存储...

张小渔
03/26
0
0
【HBase】 - 单机模式、伪分布式、完全分布式配置

Hbase 简介 Hbase: Hadoop Database Hbase是非关系型数据库,随着现在互联网的数据量越来越多,需求更加多元化,传统的关系型数据库无法满足实际的业务需求,NoSql类型数据库孕育而生。 传统...

ZeroneLove
02/25
16
0
Hadoop2.x下安装HBase

环境:CentOS6.5 Hadoop2.5.2 HBase1.0.0 1.安装好 hadoop 集群,并启动 [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-dfs.sh [grid@hadoop4 ~]$ sh hadoop-2.5.2/sbin/start-yarn.sh 查看......

张超
2015/03/19
10.2K
3
Hadoop上路_15-HBase0.98.0入门

以下操作在Hadoop分布式集群基础上进行。 一。分布式环境搭建 下载:http://www.apache.org/dyn/closer.cgi/hbase/ ,hbase-0.98.0-hadoop2-bin.tar.gz。 1.在master主控机安装HBase 1)解压...

vigiles
2014/04/03
4.1K
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
今天
4
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0
Spring boot 静态资源访问

0. 两个配置 spring.mvc.static-path-patternspring.resources.static-locations 1. application中需要先行的两个配置项 1.1 spring.mvc.static-path-pattern 这个配置项是告诉springboo......

moon888
昨天
4
0
hash slot(虚拟桶)

在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小。 round robin算法:是把数据mod后直接映射...

李朝强
昨天
4
0
Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平...

vivo互联网技术
昨天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部