加载中
yarn调优-提升并发应用数

架构:yarn+hive 问题:yarn中使用capacity scheduler做任务调度,创建了三个队列分别为不同的场景提供服务。后来发现一个问题,在集群资源充裕的情况下,yarn中的并发applicaiton都特别少,...

2017/03/02 14:26
211
Hive使用经验-分区字段使用函数查询时分区无效

环境:FusionInsight-Hive-1.1.0 现象:这段时间项目中新开了一些sql,在执行这些sql的时候,集群的CPU使用率平均达到90%,导致集群基本处于停摆状态,其他的sql却能正常执行。 排查:单独执...

2017/02/25 16:50
52
service redis does not support chkconfig的解决办法

问题解决办法如下: 必须把下面两行注释放在/etc/init.d/redis文件靠前的注释中: # chkconfig: 2345 90 10 # description: Redis is a persistent key-value database 上面的注释的意思是,...

2016/03/22 12:48
141
运行mrunit报错问题解决

在看hadoop权威指南的时候,运行mrunit的例子(MaxTemperatureMapperTest)的时候,报出一个异常,网上查了资料后,是mrunit的版本问题,可以结合hadoop的版本,找到对应的mrunit的版本。 另...

2016/03/12 18:20
133
读《大数据时代》

周末两天加上今天的时间,算是仔细的读完了《大数据时代》这本书,这本书既是我导师推荐给我们的大数据书籍,也是我第一次尝试一口气读完一本书。 对于这本书,作者的牛逼之处就不用我在这里...

2015/02/09 13:59
322
HBase中Scan类属性maxResultSize的说明

有同学希望调用Scan.setMaxResultSize(long)这个方法来设置scan扫描后返回的条数,目前我的理解,这个属性能到一定的限制作用,但是很多时候不会向你想的那样其作用,下面我来进行一些说明。...

Hadoop中DataNode的启动过程详解

本文的目的在于详细记录2.4.1版本下hadoop的DataNode的启动过程,作此记录,也为以后回过头看DataNode留下方便。本文的思路是结合DataNode的代码,来分析他的启动过程。 说明,限于篇幅,对文...

HDFS Federation设计动机与基本原理

HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了H...

hadoop rpc服务端初始化和调用过程详解

本文主要描述了hadoop rpc服务端的初始化和调用过程,相比客户端的初始化,rpc服务端感觉会简单点,但是调用过程却比客户端复杂一些。本文还是以namenode为例,namenode会在执行main方法的时...

hadoop rpc客户端初始化和调用过程详解

本文主要记录hadoop rpc的客户端部分的初始化和调用的过程,下面的介绍中主要通过DFSClient来说明,为什么用DFSClient呢?DFSClient作为namenode的客户端,通过rpc来操作hdfs。限于篇幅,本文...

HBase Flush操作流程以及对读写服务的影响

HBase的Flush操作的触发条件: 1)Manual调用,HRegionInterface#flushRegion,可以被用户态org.apache.hadoop.hbase.client.HBaseAdmin调用flush操作实现,该操作会直接触发HRegion的interna...

2015/01/14 12:27
56
五大主流数据库模型

导读:无论是关系型数据库还是非关系型数据库,都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型,让我们来追本溯源,窥探现在流行的数据库解决方案背后的神秘世界。 什么是数...

关于HFile的存储结构梳理以及快速定位rowkey

一、HFile结构介绍 为了支持数据的随机查询,HFile结构分为六个部分: 1、数据块–保存表中的数据,每一个数据块由块头和一些keyValue(record)组成,key的值是严格按照顺序存储的。块大小默认...

2015/01/07 12:23
132
hbase0.98.9中实现endpoints

在我的前面一篇博客中,抄录了hbase官网的一段话,讲的是0.96.0以后版本中endpoint的实现机制由于引进了protobuf框架,有了比较彻底的改变。本文承接上面一篇博客,给出定制一个endpoint的过...

2015/01/04 19:40
275
The implementation for endpoints in HBase 0.96.x

The implementation for endpoints changed significantly in HBase 0.96.x due to the introduction of protocol buffers (protobufs) (HBASE-5488). If you created endpoints before 0.96...

HBase Shell Commands

HBase shell commands are mainly categorized into 6 parts: General HBase Shell Commands status Show cluster status. Can be ‘summary’, ‘simple’, or ‘detailed’. The default i...

2015/01/03 16:54
49
【甘道夫】HBase基本数据操作详解【完整版,绝对精品】

引言 之前详细写了一篇HBase过滤器的文章,今天把基础的表和数据相关操作补上。 本文档 参考最新 (截止2014年7月16日)的 官方 Ref Guide、 Developer API编写 。 所有代码均基于“hbase 0...

2015/01/02 08:52
120
HBase -ROOT-和.META.表结构

在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionS...

2014/12/30 17:41
89
分享一个zookeeper批量启动脚本

zookeeper分布式环境中,需要单独启动每一个zookeeper节点,这样比较麻烦。这里分享一个批量启动脚本,供大家参考。 脚本的思路:读取zoo.cfg下面的server信息,然后逐个通过ssh,启动zooke...

大数据存取的选择:行存储还是列存储?

上个月参加了一个云存储的技术讨论会。这一个月里,陆续收到几位同学讨论大数据保存和处理的邮件。今天是周末,索性把这个月的交流内容整理写下来,供各位参考。   目前大数据存储有两种方...

2014/11/26 09:06
28

没有更多内容

加载失败,请刷新页面

下一页

返回顶部
顶部