加载中
Kafka安装

1.Kafka基本术语 Producer :消息生产者,就是向kafka broker发消息的客户端 Consumer :消息消费者,向kafka broker取消息的客户端 Topic :话题,可以理解为一个队列 Consumer Group (CG)...

2015/06/06 23:48
787
Storm On Yarn 安装部署

1. 安装 JDK7 和 Maven 2. 部署Hadoop2集群,并启动yarn http://my.oschina.net/zc741520/blog/362824 3. 下载 Storm on Yarn [grid@hadoop4 ~]$ wget https://github.com/yahoo/storm-yarn...

2015/05/25 00:51
2K
Storm Trident 详细介绍

一、概要 1.1 Storm(简介) Storm是一个实时的可靠地分布式流计算框架。 具体就不多说了,举个例子,它的一个典型的大数据实时计算应用场景:从Kafka消息队列读取消息(可以是logs,clicks,sen...

2015/05/17 20:55
841
Storm实验 -- DRPC的使用

1. 修改所有节点的 storm.yaml 配置文件,设置 drpc server [grid@hadoop6 ~]$ vim storm-0.9.4/conf/storm.yaml drpc.servers: - "hadoop4" 2. 启动drcp服务 storm drpc & 3. 编写服务...

2015/05/05 00:12
1.2K
Storm实验 -- 单词计数4

在上一次单词计数的基础上做如下改动: 使用 自定义 分组策略,将首字母相同的单词发送给同一个task计数 自定义 CustomStreamGrouping package com.zhch.v4; import backtype.storm.generat...

2015/05/03 22:04
142
Storm实验 -- 单词计数3

在上一次单词计数的基础上做如下改动: 使用 Direct Grouping 分组策略,将首字母相同的单词发送给同一个task计数 数据源spout package com.zhch.v3; import backtype.storm.spout.SpoutOu...

2015/05/03 21:09
577
Storm实验 -- 单词计数2

在上一次单词计数的基础上做如下改动: 1. 使用可靠的消息处理机制 2. 配置 worker 、executor、task 数量 3. 使用集群模式提交 数据源spout package com.zhch.v2; import backtype.storm.s...

2015/05/03 18:25
201
Storm的并行度、Grouping策略以及消息可靠处理机制简介

概念: Workers (JVMs): 在一个节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集...

2015/05/03 13:39
9.2K
Storm实验 -- 单词计数

1. 使用mvn命令创建项目 mvn archetype:generate -DgroupId=storm.test -DartifactId=Storm01 -DpackageName=com.zhch.v1 然后编辑配置文件pom.xml,添加storm依赖 <dependency> <groupId>...

2015/05/01 22:02
436
Storm概念讲解和工作原理介绍

Strom的结构 Storm与传统关系型数据库 传统关系型数据库是先存后计算,而storm则是先算后存,甚至不存 传统关系型数据库很难部署实时计算,只能部署定时任务统计分析窗口数据 关系型数据库重...

2015/04/26 23:27
3.4K
Storm0.9.4安装

环境:三台虚拟机,系统是CentOS6.5 1.关闭防火墙,配置hosts,添加集群中主机和IP的映射关系 [grid@hadoop4 ~]$ cat /etc/hosts 127.0.0.1 localhost ::1 localhost 192.168.0.1...

2015/04/12 16:53
781
Storm简介

Storm是什么 如果只用一句话来描述storm的话,可能会是这样:分布式实时计算系统。按照storm作者的说法,storm对于实时计算的意义类似于 hadoop对于批处理的意义。我们都知道,根据google ma...

2015/04/12 14:35
491

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部
返回顶部
顶部