大数据 - 世间情歌 - OSCHINA - 中文开源技术交流社区

架构：yarn+hive 问题：yarn中使用capacity scheduler做任务调度，创建了三个队列分别为不同的场景提供服务。后来发现一个问题，在集群资源充裕的情况下，yarn中的并发applicaiton都特别少，...

yarn hive capacity

大数据

2017/03/02 14:26

4.1K

0

环境：FusionInsight-Hive-1.1.0 现象：这段时间项目中新开了一些sql，在执行这些sql的时候，集群的CPU使用率平均达到90%，导致集群基本处于停摆状态，其他的sql却能正常执行。排查：单独执...

大数据

2017/02/25 16:50

2.6K

0

问题解决办法如下：必须把下面两行注释放在/etc/init.d/redis文件靠前的注释中： # chkconfig: 2345 90 10 # description: Redis is a persistent key-value database 上面的注释的意思是，...

redis init 开机启动

大数据

2016/03/22 12:48

1.5K

0

在看hadoop权威指南的时候，运行mrunit的例子（MaxTemperatureMapperTest）的时候，报出一个异常，网上查了资料后，是mrunit的版本问题，可以结合hadoop的版本，找到对应的mrunit的版本。另...

hadoop mrunit map

大数据

2016/03/12 18:20

441

0

有同学希望调用Scan.setMaxResultSize(long)这个方法来设置scan扫描后返回的条数，目前我的理解，这个属性能到一定的限制作用，但是很多时候不会向你想的那样其作用，下面我来进行一些说明。...

hbase Scan maxResultSize caching

大数据

2015/02/05 13:26

1.6W

0

本文的目的在于详细记录2.4.1版本下hadoop的DataNode的启动过程，作此记录，也为以后回过头看DataNode留下方便。本文的思路是结合DataNode的代码，来分析他的启动过程。说明，限于篇幅，对文...

hadoop datanode 启动过程

大数据

2015/01/29 10:08

873

0

HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了H...

hadoop Federation 设计动机基本原理

大数据

2015/01/29 07:36

203

0

本文主要描述了hadoop rpc服务端的初始化和调用过程，相比客户端的初始化，rpc服务端感觉会简单点，但是调用过程却比客户端复杂一些。本文还是以namenode为例，namenode会在执行main方法的时...

hadoop rpc 服务初始化调用过程

大数据

2015/01/28 13:26

1K

0

本文主要记录hadoop rpc的客户端部分的初始化和调用的过程，下面的介绍中主要通过DFSClient来说明，为什么用DFSClient呢？DFSClient作为namenode的客户端，通过rpc来操作hdfs。限于篇幅，本文...

hadoop rpc client 初始化调用

大数据

2015/01/28 00:33

818

0

HBase的Flush操作的触发条件： 1)Manual调用，HRegionInterface#flushRegion，可以被用户态org.apache.hadoop.hbase.client.HBaseAdmin调用flush操作实现，该操作会直接触发HRegion的interna...

hbase flush

大数据

2015/01/14 12:27

289

0

导读：无论是关系型数据库还是非关系型数据库，都是某种数据模型的实现。本文将为大家简要介绍5种常见的数据模型，让我们来追本溯源，窥探现在流行的数据库解决方案背后的神秘世界。什么是数...

数据模型关系模型键值对模型

大数据

2015/01/12 15:45

119

0

一、HFile结构介绍为了支持数据的随机查询，HFile结构分为六个部分： 1、数据块–保存表中的数据，每一个数据块由块头和一些keyValue(record)组成，key的值是严格按照顺序存储的。块大小默认...

hfile 存储结构说明

大数据

2015/01/07 12:23

1K

0

在我的前面一篇博客中，抄录了hbase官网的一段话，讲的是0.96.0以后版本中endpoint的实现机制由于引进了protobuf框架，有了比较彻底的改变。本文承接上面一篇博客，给出定制一个endpoint的过...

hbase 0.98.9 endpoint 示例

大数据

2015/01/04 19:40

306

0

The implementation for endpoints changed significantly in HBase 0.96.x due to the introduction of protocol buffers (protobufs) (HBASE-5488). If you created endpoints before 0.96...

hbase 0.98.9 endpoints protobufs BaseEndpointCoprocessor

大数据

2015/01/04 17:13

94

0

HBase shell commands are mainly categorized into 6 parts: General HBase Shell Commands status Show cluster status. Can be ‘summary’, ‘simple’, or ‘detailed’. The default i...

hbase command

大数据

2015/01/03 16:54

305

0

引言之前详细写了一篇HBase过滤器的文章，今天把基础的表和数据相关操作补上。本文档参考最新（截止2014年7月16日）的官方 Ref Guide、 Developer API编写。所有代码均基于“hbase 0...

hbase 表操作

大数据

2015/01/02 08:52

300

0

在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionS...