加载中
Storm消息处理可靠性保证

http://storm.apache.org/releases/0.9.7/Guaranteeing-message-processing.html 本文是对Storm官方文档的翻译并结合了自己的一些理解。最后发现网络上已经有了很多的翻译版本,自己翻译收获...

2017/11/07 10:38
3.3K
HBase跨集群表复制

概述 A集群HBase中有个表testTableCopy, 要将其复制到B集群的HBase中。 使用HBase表复制工具./hbase org.apache.hadoop.hbase.mapreduce.CopyTable root@host:/tstar/hbase/bin-->./hbase or...

2019/04/13 16:06
328
Storm客户端提交任务失败原因分析

storm客户端提交topology失败: java.lang.RuntimeException: org.apache.thrift7.transport.TTransportException at backtype.storm.StormSubmitter.submitTopology(StormSubmitte...

2018/04/21 17:50
305
通过Java程序提交通用Mapreduce无法回收类的问题

上次发布的博客https://my.oschina.net/shipley/blog/1603699 通过Java程序提交通用Mapreduce,在实施过程中发现,每次提交一次Mapreduce任务,JVM无法回收过程中产生的MapReduceClassLoade...

2018/02/26 16:14
159
通过Java程序提交通用Mapreduce任务并获取Job信息

我们的一个业务须要有对MR任务的提交和状态跟踪的功能,须要通过Java代码提交一个通用的MR任务,于是做了如下的研究方案

2018/01/08 00:19
2.9K
Mapreduce 任务提交源码分析1

Mapreduce 提交过程源码分析 , org.apache.hadoop.util.RunJar

2017/12/27 10:59
189
Mapreduce程序中reduce的Iterable参数迭代出是同一个对象

今天在对reduce的参数Iterable进行迭代时,发现一个问题,即Iterator的next()方法每次返回的是同一个对象,next()只是修改了Writable对象的值,而不是重新返回一个新的Writable对象。...

2016/01/15 17:48
1.8K
Hadoop SequenceFile BLOCK压缩类型写入数据机制

最近测试Hadoop数据一致性,发现Hadoop SequenceFile BLOCK压缩类型的文件存在数据丢失情况,对此进行研究并解决

2015/12/01 19:29
1.8K
关于Mapreduce On Yarn中Map数量的设置

同事最近对MR on Yarn中Map数量的一个小的研究,在此记录下

2015/10/12 15:55
1.7K
Hadoop SequnceFile.Writer 压缩模式及压缩库浅析

最近发现Hadoop入库速度比较慢无法满足需求,而压缩类型(Compression Type)没有明确指令,即默认值RECORD,通过本文对SequnceFile.Writer的压缩方式做个了解,并测试下hadoop native和jav...

2015/08/28 15:00
579
kafka常用命令整理

kafka常用命令整理

2015/04/21 11:30
50
使用Kafka的High Level Consumer

本文来自Kafka官方博客,根据原文和个人的理解来简述。两个主题:1.为什么使用High Level Consumer;2.设计High Level Consumer。 原文来自:https://cwiki.apache.org/confluence/display/K...

2014/12/31 08:57
2.1K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部