文档章节

hadoop、hbase单点问题解决方案

晓阳
 晓阳
发布于 2014/11/19 14:44
字数 450
阅读 113
收藏 0
点赞 0
评论 2

hbase单点:

1、在regionserver集群上,通过如下命令启动master:./hbase-daemon.sh start master(可以在多个regionserver集群上启动master,主master进程死掉后会重新选举一个新的master)


hadoop单点:

1、修改core-site.xml配置文件,参考如下:

<property>

<name>hadoop.tmp.dir</name>

<value>/ysh/hadoop/tmp</value>

</property>


<property>

<name>fs.trash.interval</name>

<value>1440</value>

</property>


<property>

<name>io.compression.codecs</name>

<value>com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>

</property>


<property>

<name>io.compression.codec.lzo.class</name>

<value>com.hadoop.compression.lzo.LzoCodec</value>

</property>


<property>

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>


<property>

<name>ha.zookeeper.quorum</name>

<value>192.168.22.134:2181</value>

</property>


2、修改hdfs-site.xml配置文件,参考如下:

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/ysh/hadoop/dfs/name</value>

</property>


<property>

<name>dfs.datanode.data.dir</name>

<value>file:/ysh/hadoop/dfs/data</value>

</property>


<property>

<name>dfs.replication</name>

<value>1</value>

</property>


<property>

<name>dfs.support.append</name>

<value>false</value>

</property>


<property>

<name>dfs.permissions</name>

<value>false</value>

</property>


<property>

<name>dfs.datanode.max.xcievers</name>

<value>5000</value>

</property>


<property>

<name>dfs.nameservices</name>

<value>mycluster</value>

</property>


<property>

<name>dfs.ha.namenodes.mycluster</name>

<value>nn1,nn2</value>

</property>


<property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

<value>redhat-1:8020</value>

</property>


<property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

<value>redhat-2:8020</value>

</property>


<property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

<value>redhat-1:50070</value>

</property>


<property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

<value>redhat-2:50070</value>

</property>


<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://redhat-1:8485;redhat-2:8485;redhat-3:8485/mycluster</value>

</property>


<property>

<name>dfs.journalnode.edits.dir</name>

<value>/ysh/hadoop/dfs/journal</value>

</property>


<property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>


<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>


<property>

<name>dfs.ha.fencing.methods</name>

<value>shell(/bin/true)</value>

</property>

其他配置文件和单namenode配置一样


3、修改完,启动zookeeper,到hadoop的bin目录下执行命令:./hdfs zkfc -formatZK


4、再启动journalnode,到hadoop的sbin目录下,命令如下:./hadoop-daemons.sh start journalnode


5、初始化其中一个namenode,命令如下:./hadoop namenode -format


6、同步2台namenode的name目录,用scp命令


7、启动hadoop集群,命令如下:./start-all.sh


8、hadoop配置ha模式,hbase的 hbase-site.xml的hbase.rootdir作如下修改:

参考:

<property>

<name>hbase.rootdir</name>

<value>hdfs://mycluster/hbase</value>

</property>


© 著作权归作者所有

共有 人打赏支持
晓阳
粉丝 9
博文 69
码字总数 52360
作品 0
徐汇
程序员
加载中

评论(2)

晓阳
晓阳
8、hadoop配置ha模式,hbase的 hbase-site.xml的hbase.rootdir作如下修改:

参考:

<property>

<name>hbase.rootdir</name>

<value>hdfs://mycluster/hbase</value>

</property>
这里有问题,需要将hadoop的配置文件拷贝到hbase的conf文件夹下,否则会报错unknownhostexcetpion
晓阳
晓阳
切记不要拷贝博客中的配置,我就因为拷贝导致一些错误,花了一些时间才解决,直接拷贝会因为格式问题导致一些错误
Sqoop数据导入到HBase遇上的问题及解决方法

  【IT168 技术】运行bin/sqoop import --connect jdbc:mysql://ip:port/database --username * --password **--hbase-bulkload --hbase-create-table --column-family info --hbase-row-k......

中国大数据 ⋅ 05/31 ⋅ 0

八年磨一剑,重新定义HBase——HBase 2.0&阿里云HBase解读

摘要:2018年6月6日,阿里云ApsaraDB for HBase2.0正式发布!从2010年开始“试水”到2018年,拥有了3个PMC,6个Committer,拥有中国最多HBase Committer的公司之一的阿里巴巴是如何八年磨一剑...

Mr_zebra ⋅ 06/13 ⋅ 0

HBase 和 Hive 的差别是什么,各自适用在什么场景中?

https://www.zhihu.com/question/21677041/answer/185664626 先放结论:Hbase和Hive在大数据架构中处在不同位置: Hbase主要解决实时数据查询问题 Hive主要解决数据处理和计算问题,一般是配...

chenhao_asd ⋅ 04/24 ⋅ 0

Hbase的应用场景、原理及架构分析

Hbase概述 hbase是一个构建在HDFS上的分布式列存储系统。HBase是Apache Hadoop生态系统中的重要 一员,主要用于海量结构化数据存储。从逻辑上讲,HBase将数据按照表、行和列进行存储。 如图所...

xiangxizhishi ⋅ 2017/07/22 ⋅ 0

Hadoop、Spark、HBase与Redis的适用性见解

问题导读: 1.你认为Hadoop适用什么场景? 2.Spark适用于什么场景? 3.HBase与 Redis各有什么特点? 最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向...

cuiyaonan2000 ⋅ 05/07 ⋅ 0

记一次测试环境Hbase数据备份恢复以及恢复后部分表无法删除的问题处理

一、Hbase数据备份恢复 说明: 因为测试环境要修改hadoop配置文件hdfs-site.xml的参数hdfs.rootdir 修改前的配置 hbase.rootdir hdfs://masters/hbase1 修改后的配置 hbase.rootdir hdfs://m...

断臂人 ⋅ 06/15 ⋅ 0

普及HBase,阿里云HBase团队在行动

一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server上搭建起...

所在jason ⋅ 05/23 ⋅ 0

hadoop及hbase集群启停的几种方式

1、生产环境集群 2、web管理页面 hadoop web管理页面(主备) http://192.168.10.101:50070 http://192.168.10.102:50070 hbase web管理页面(主备) http://192.168.10.101:16010 http://1......

断臂人 ⋅ 06/07 ⋅ 0

中国HBase技术社区第一届MeetUp-HBase2.0研讨圆桌会

HBase Committers&各公司HBase负责人 出席嘉宾(排名不分次序): 封神(HBase Committer,阿里) 天梧(HBase Committer,阿里) 陈恒(HBase Committer,蚂蚁金服) 李钰(HBase PMC,阿里) 王锋(奇...

wenzi0563 ⋅ 06/14 ⋅ 0

企业打开云HBase的正确方式,来自阿里云云数据库团队的解读

摘要: 一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server...

阿里云云栖社区 ⋅ 05/31 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

如何优雅的编程——C语言界面的一点小建议

我们鼓励在编程时应有清晰的哲学思维,而不是给予硬性规则。我并不希望你们能认可所有的东西,因为它们只是观点,观点会随着时间的变化而变化。可是,如果不是直到现在把它们写在纸上,长久以...

柳猫 ⋅ 15分钟前 ⋅ 0

从零手写 IOC容器

概述 IOC (Inversion of Control) 控制反转。熟悉Spring的应该都知道。那么具体是怎么实现的呢?下面我们通过一个例子说明。 1. Component注解定义 package cn.com.qunar.annotation;impo...

轨迹_ ⋅ 15分钟前 ⋅ 0

系统健康检查利器-Spring Boot-Actuator

前言 实例由于出现故障、部署或自动缩放的情况,会进行持续启动、重新启动或停止操作。它可能导致它们暂时或永久不可用。为避免问题,您的负载均衡器应该从路由中跳过不健康的实例,因为它们...

harries ⋅ 17分钟前 ⋅ 0

手把手教你搭建vue-cli脚手架-详细步骤图文解析[vue入门]

写在前面: 使用 vue-cli 可以快速创建 vue 项目,vue-cli很好用,但是在最初搭建环境安装vue-cli及相关内容的时候,对一些人来说是很头疼的一件事情,本人在搭建vue-cli的项目环境的时候也是...

韦姣敏 ⋅ 27分钟前 ⋅ 0

12c rman中输入sql命令

12c之前版本,要在rman中执行sql语句,必须使用sql "alter system switch logfile"; 而在12c版本中,可以支持大量的sql语句了: 比如: C:\Users\zhengquan>rman target / 恢复管理器: Release 1...

tututu_jiang ⋅ 41分钟前 ⋅ 0

Nginx的https配置记录以及http强制跳转到https的方法梳理

Nginx的https配置记录以及http强制跳转到https的方法梳理 一、Nginx安装(略) 安装的时候需要注意加上 --with-httpsslmodule,因为httpsslmodule不属于Nginx的基本模块。 Nginx安装方法: ...

Yomut ⋅ 58分钟前 ⋅ 0

SpringCloud Feign 传递复杂参数对象需要注意的地方

1.传递复杂参数对象需要用Post,另外需要注意,Feign不支持使用GetMapping 和PostMapping @RequestMapping(value="user/save",method=RequestMethod.POST) 2.在传递的过程中,复杂对象使用...

@林文龙 ⋅ 59分钟前 ⋅ 0

如何显示 word 左侧目录大纲

打开word说明文档,如下图,我们发现左侧根本就没有目录,给我们带来很大的阅读障碍 2 在word文档的头部菜单栏中,切换到”视图“选项卡 3 然后勾选“导航窗格”选项 4 我们会惊奇的发现左侧...

二营长意大利炮 ⋅ 今天 ⋅ 0

智能合约编程语言Solidity之线上开发工具

工具地址:https://ethereum.github.io/browser-solidity/ 实例实验: 1.创建hello.sol文件 2.调试输出结果

硅谷课堂 ⋅ 今天 ⋅ 0

ffmpeg 视频格式转换

转 Mp4 格式 #> ffmpeg -i input.avi -c:v libx264 output.mp4#> ffmpeg -i input.avi -c:v libx264 -strict -2 output.mp4#> ffmpeg -i input.avi -c:v libx264 -strict -2 -s 1......

Contac ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部