加载中
[Trident] Storm Trident 教程

rident是在storm基础上,一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时,也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批...

2016/04/03 20:33
185
storm拓扑的并行度(parallelism)概念

1 storm并行的基本概念 一个运行中的拓扑是由什么构成的:工作进程(worker processes),执行器(executors)和任务(tasks) 在一个 Storm 集群中,Storm 主要通过以下三个部件来运行拓扑:...

2016/04/03 18:19
63
Storm入门教程 第五章 一致性事务

Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何 保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Trans...

2016/04/03 15:12
45
Storm 实现滑动窗口计数和TopN排序 【转】

计算top N words的topology, 用于比如trending topics or trending images on Twitter. 实现了滑动窗口计数和TopN排序, 比较有意思, 具体分析一下代码 Topology 这是一个稍微复杂些的topolog...

2016/04/02 12:57
875
Storm Transaction 原理+实战

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you...

2016/04/02 12:06
75
Storm消息机制

章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)? What does it mean for a message to be "fully processed"? 首先的问题是...

2016/03/30 22:56
156
Storm简介

Storm简介 Storm基本概念 • Storm使用场景 • Storm分组机制 实现一个实时计算系统  低延迟。都说了是实时计算系统了,延迟是一定要低的。  高性能。性能不高就是浪费机器,浪费机器是要...

2016/03/10 09:50
33
开源的实时计算平台storm简介

实现一个实时计算系统 全量数据处理使用的大多是鼎鼎大名的hadoop或者hive,作为一个批处理系统,hadoop以其吞吐量大、自动容错等优点,在海量数据处理上 得到了广泛的使用。但是,hadoop不擅...

2016/03/08 10:28
27
win7 storm搭建

storm win7环境的搭建【默认已经搭建好JDK和python,zookeeper】 下载apache-storm-0.9.1-incubating.zip 2.解压并且配置好环境变量 3.在conf下修改storm.yaml storm.zookeeper.servers: - "...

2016/02/27 16:59
145
Grouping策略,并行度,消息的可靠处理机制

配置并行度 works jvm:在一个节点可以运行多个jvm进程,一个topology可以包含一个或者多个worker并行的泡在不同的machine,所以一个work progress就是执行一个topology的子集 并且一个worker只...

2016/02/08 19:58
559
第2周 Storm概念详解和工作原理,topology、spout、bolt的细节和API讲解之2

[root@localhost storm]# cd /root/soft/code/teststorm/src/main/java/cn/dataguru/storm [root@localhost storm]# rm -rf * [root@localhost storm]# ls ReportBolt.java SplitSentenceBol...

2016/02/08 09:23
161
Storm概念详解和工作原理,topology、spout、bolt的细节和API讲解之一

storm datasource -->bolt | | | | bolt--> 有向无环图bolt storm与传统数据库区别 传统数据库先存后计算,而storm则是先算后存甚至不存 传统关系数据库很难部署实时计算,只能部署定时任务统...

2016/02/08 08:50
2.8K
storm集群和单点安装

Storm实时分析平台的起源,Storm分布式集群实施 流式处理场景:算法交易 storm组件 1.nimbus集群中心,控制节点 2.supervisor nodes taskernode 3.the zookeeper cluster 交换信息 storm数据...

2016/02/06 22:00
370

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部