加载中
yarn调优-提升并发应用数

架构:yarn+hive 问题:yarn中使用capacity scheduler做任务调度,创建了三个队列分别为不同的场景提供服务。后来发现一个问题,在集群资源充裕的情况下,yarn中的并发applicaiton都特别少,...

2017/03/02 14:26
4.1K
service redis does not support chkconfig的解决办法

问题解决办法如下: 必须把下面两行注释放在/etc/init.d/redis文件靠前的注释中: # chkconfig: 2345 90 10 # description: Redis is a persistent key-value database 上面的注释的意思是,...

2016/03/22 12:48
1.5K
读《大数据时代》

周末两天加上今天的时间,算是仔细的读完了《大数据时代》这本书,这本书既是我导师推荐给我们的大数据书籍,也是我第一次尝试一口气读完一本书。 对于这本书,作者的牛逼之处就不用我在这里...

2015/02/09 13:59
377
HBase中Scan类属性maxResultSize的说明

有同学希望调用Scan.setMaxResultSize(long)这个方法来设置scan扫描后返回的条数,目前我的理解,这个属性能到一定的限制作用,但是很多时候不会向你想的那样其作用,下面我来进行一些说明。...

Hadoop中DataNode的启动过程详解

本文的目的在于详细记录2.4.1版本下hadoop的DataNode的启动过程,作此记录,也为以后回过头看DataNode留下方便。本文的思路是结合DataNode的代码,来分析他的启动过程。 说明,限于篇幅,对文...

hadoop rpc服务端初始化和调用过程详解

本文主要描述了hadoop rpc服务端的初始化和调用过程,相比客户端的初始化,rpc服务端感觉会简单点,但是调用过程却比客户端复杂一些。本文还是以namenode为例,namenode会在执行main方法的时...

hadoop rpc客户端初始化和调用过程详解

本文主要记录hadoop rpc的客户端部分的初始化和调用的过程,下面的介绍中主要通过DFSClient来说明,为什么用DFSClient呢?DFSClient作为namenode的客户端,通过rpc来操作hdfs。限于篇幅,本文...

HBase Flush操作流程以及对读写服务的影响

HBase的Flush操作的触发条件: 1)Manual调用,HRegionInterface#flushRegion,可以被用户态org.apache.hadoop.hbase.client.HBaseAdmin调用flush操作实现,该操作会直接触发HRegion的interna...

2015/01/14 12:27
301
五大主流数据库模型

导读:无论是关系型数据库还是非关系型数据库,都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型,让我们来追本溯源,窥探现在流行的数据库解决方案背后的神秘世界。 什么是数...

The implementation for endpoints in HBase 0.96.x

The implementation for endpoints changed significantly in HBase 0.96.x due to the introduction of protocol buffers (protobufs) (HBASE-5488). If you created endpoints before 0.96...

HBase -ROOT-和.META.表结构

在HBase中,大部分的操作都是在RegionServer完成的,Client端想要插入,删除,查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer?就是管理你要操作的那个Region的RegionS...

2014/12/30 17:41
753
分享一个zookeeper批量启动脚本

zookeeper分布式环境中,需要单独启动每一个zookeeper节点,这样比较麻烦。这里分享一个批量启动脚本,供大家参考。 脚本的思路:读取zoo.cfg下面的server信息,然后逐个通过ssh,启动zooke...

大数据存取的选择:行存储还是列存储?

上个月参加了一个云存储的技术讨论会。这一个月里,陆续收到几位同学讨论大数据保存和处理的邮件。今天是周末,索性把这个月的交流内容整理写下来,供各位参考。   目前大数据存储有两种方...

2014/11/26 09:06
146

没有更多内容

加载失败,请刷新页面

返回顶部
顶部