文档章节

hadoop、hbase单点问题解决方案

晓阳
 晓阳
发布于 2014/11/19 14:44
字数 450
阅读 118
收藏 0

hbase单点:

1、在regionserver集群上,通过如下命令启动master:./hbase-daemon.sh start master(可以在多个regionserver集群上启动master,主master进程死掉后会重新选举一个新的master)


hadoop单点:

1、修改core-site.xml配置文件,参考如下:

<property>

<name>hadoop.tmp.dir</name>

<value>/ysh/hadoop/tmp</value>

</property>


<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>


<property>

<name>io.compression.codecs</name>

<value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>

</property>


<property>

<name>io.compression.codec.lzo.class</name>

<value>com.hadoop.compression.lzo.LzoCodec</value>

</property>


<property>

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>


<property>

<name>ha.zookeeper.quorum</name>

<value>192.168.22.134:2181</value>

</property>


2、修改hdfs-site.xml配置文件,参考如下:

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/ysh/hadoop/dfs/name</value>

</property>


<property>

<name>dfs.datanode.data.dir</name>

<value>file:/ysh/hadoop/dfs/data</value>

</property>


<property>

<name>dfs.replication</name>

<value>1</value>

</property>


<property>

<name>dfs.support.append</name>

<value>false</value>

</property>


<property>

<name>dfs.permissions</name>

<value>false</value>

</property>


<property>

<name>dfs.datanode.max.xcievers</name>

<value>5000</value>

</property>


<property>

<name>dfs.nameservices</name>

<value>mycluster</value>

</property>


<property>

<name>dfs.ha.namenodes.mycluster</name>

<value>nn1,nn2</value>

</property>


<property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

<value>redhat-1:8020</value>

</property>


<property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

<value>redhat-2:8020</value>

</property>


<property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

<value>redhat-1:50070</value>

</property>


<property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

<value>redhat-2:50070</value>

</property>


<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://redhat-1:8485;redhat-2:8485;redhat-3:8485/mycluster</value>

</property>


<property>

<name>dfs.journalnode.edits.dir</name>

<value>/ysh/hadoop/dfs/journal</value>

</property>


<property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>


<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>


<property>

<name>dfs.ha.fencing.methods</name>

<value>shell(/bin/true)</value>

</property>

其他配置文件和单namenode配置一样


3、修改完,启动zookeeper,到hadoop的bin目录下执行命令:./hdfs zkfc -formatZK


4、再启动journalnode,到hadoop的sbin目录下,命令如下:./hadoop-daemons.sh start journalnode


5、初始化其中一个namenode,命令如下:./hadoop namenode -format


6、同步2台namenode的name目录,用scp命令


7、启动hadoop集群,命令如下:./start-all.sh


8、hadoop配置ha模式,hbase的 hbase-site.xml的hbase.rootdir作如下修改:

参考:

<property>

<name>hbase.rootdir</name>

<value>hdfs://mycluster/hbase</value>

</property>


© 著作权归作者所有

共有 人打赏支持
晓阳
粉丝 10
博文 69
码字总数 52360
作品 0
徐汇
程序员
加载中

评论(2)

晓阳
晓阳
8、hadoop配置ha模式,hbase的 hbase-site.xml的hbase.rootdir作如下修改:

参考:

<property>

<name>hbase.rootdir</name>

<value>hdfs://mycluster/hbase</value>

</property>
这里有问题,需要将hadoop的配置文件拷贝到hbase的conf文件夹下,否则会报错unknownhostexcetpion
晓阳
晓阳
切记不要拷贝博客中的配置,我就因为拷贝导致一些错误,花了一些时间才解决,直接拷贝会因为格式问题导致一些错误
Hadoop HBase 配置 安装 Snappy 终极教程

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/ 因为产...

Fowler.Zhang
2013/01/14
0
0
Sqoop数据导入到HBase遇上的问题及解决方法

  【IT168 技术】运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username * --password **--hbase-bulkload --hbase-create-table --column-family info --hbase-row-k......

中国大数据
05/31
0
0
完全分布式集群(五)Hbase-1.2.6.1安装配置

环境信息 完全分布式集群(一)集群基础环境及zookeeper-3.4.10安装部署 hadoop集群安装配置过程 安装hive前需要先部署hadoop集群 完全分布式集群(二)hadoop2.6.5安装部署 Hbase集群安装部...

PeakFang-BOK
10/16
0
0
Hadoop,HBase 配置 安装 Snappy 终极教程

因为产品需要,这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比,单是这个安装过程,就很痛苦。网上有很多博友写Hadoop Snappy安装过程,大部分是照着Google的文档翻译...

木偶
2015/05/13
0
0
hadoop hive hbase 入门学习 (二)

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////// hadoop 自学系列 hado......

curiousby
2015/03/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

python做文本内容指定区域字符串替换

需求: 因为公司项目需要做SEO优化,所以对项目中的各种长连接做优化,比如本文中提到的精简路径;之前已经批量吧文本的路径名字等做过修改,这里不再赘述;这里的问题是外部的路径修改了,文...

坦途abc
16分钟前
0
0
MySQL 关键字模糊匹配,并按照匹配度排序

MySQL 关键字模糊匹配,并按照匹配度排序。 方式一、按照关键字搜索,然后根据关键字所占比例排序 SELECTdrug_name,pinyinFROMtbl_drugWHEREpinyin LIKE '%AM%'ORDER BY...

yh32
25分钟前
0
0
虚拟机学习之一:java内存区域与内存溢出异常

1.运行时数据区域 java虚拟机在执行java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途和创建、销毁时间,有的区域伴随虚拟机进程的启动而存在,有些区...

贾峰uk
26分钟前
0
0
Spring加载properties文件的两种方式

在项目中如果有些参数经常需要修改,或者后期可能需要修改,那我们最好把这些参数放到properties文件中,源代码中读取properties里面的配置,这样后期只需要改动properties文件即可,不需要修...

架构师springboot
42分钟前
0
0
分布式事务,原来可以这么玩?

多个数据要同时操作,如何保证数据的完整性,以及一致性? 答 : 事务 ,是常见的做法。 举个栗子: 用户下了一个订单,需要修改 余额表 , 订单 表 , 流水 表 ,于是会有类似的伪代码: st...

微笑向暖wx
45分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部