1
2
3
4
5
6
7
连击 天
fork: star:
加载中
[Trident] Storm Trident 教程
rident是在storm基础上，一个以realtime 计算为目标的高度抽象。 它在提供处理大吞吐量数据能力的同时，也提供了低延时分布式查询和有状态流式处理的能力。 如果你对Pig和Cascading这种高级批...
原
storm拓扑的并行度(parallelism)概念
1 storm并行的基本概念 一个运行中的拓扑是由什么构成的：工作进程（worker processes），执行器（executors）和任务（tasks） 在一个 Storm 集群中，Storm 主要通过以下三个部件来运行拓扑：...
Storm入门教程 第五章 一致性事务
Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何 保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Trans...
Storm 实现滑动窗口计数和TopN排序 【转】
计算top N words的topology, 用于比如trending topics or trending images on Twitter. 实现了滑动窗口计数和TopN排序, 比较有意思, 具体分析一下代码 Topology 这是一个稍微复杂些的topolog...
Storm Transaction 原理+实战
Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you...
Storm消息机制
章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)? What does it mean for a message to be "fully processed"? 首先的问题是...
原
开源的实时计算平台storm简介
实现一个实时计算系统 全量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上 得到了广泛的使用。但是，hadoop不擅...
原
win7 storm搭建
storm win7环境的搭建【默认已经搭建好JDK和python，zookeeper】 下载apache-storm-0.9.1-incubating.zip 2.解压并且配置好环境变量 3.在conf下修改storm.yaml storm.zookeeper.servers: - "...
原
荐
Grouping策略，并行度，消息的可靠处理机制
配置并行度 works jvm:在一个节点可以运行多个jvm进程，一个topology可以包含一个或者多个worker并行的泡在不同的machine,所以一个work progress就是执行一个topology的子集 并且一个worker只...
原
第2周 Storm概念详解和工作原理，topology、spout、bolt的细节和API讲解之2
[root@localhost storm]# cd /root/soft/code/teststorm/src/main/java/cn/dataguru/storm [root@localhost storm]# rm -rf * [root@localhost storm]# ls ReportBolt.java SplitSentenceBol...
原
Storm概念详解和工作原理，topology、spout、bolt的细节和API讲解之一
storm datasource -->bolt | | | | bolt--> 有向无环图bolt storm与传统数据库区别 传统数据库先存后计算，而storm则是先算后存甚至不存 传统关系数据库很难部署实时计算，只能部署定时任务统...
原
storm集群和单点安装
Storm实时分析平台的起源，Storm分布式集群实施 流式处理场景：算法交易 storm组件 1.nimbus集群中心，控制节点 2.supervisor nodes taskernode 3.the zookeeper cluster 交换信息 storm数据...
没有更多内容
加载失败，请刷新页面
没有更多内容
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复