文档章节

大数据storm应该怎么学?

让往事随风
 让往事随风
发布于 2016/04/19 17:06
字数 490
阅读 71
收藏 0

帮助大家在业务上面快速使用Storm,相信学完之后可以直接面对生成环境的问题,解决问题,优化结构。项目使用Storm0.9.1+Kafka0.8.1.1+Zookeeper锁+Memcached+mysql架构,从集群搭建到集群连通性测试,从 项目分析到数据库设计,从需求到Topology和Bolt的设计,从Coding到代码优化,从性能到安全性考虑,全方位系统的讲解一个Storm项目案例。

先给大家介绍一下大数据学习步骤:

一、入门

安装storm集群,运行示例工程,明白什么是流处理,明白spout,bolt;手动实现Storm客户端API,自己编写场景实现。

二、上手

了解Storm的Bolt,spout运行过程,storm等进程启动过程,可以参照JStorm加深对Storm的理解;了解Storm周边,比如Kafka等组件。

三、深入

学习coljure;阅读storm代码;深入学习其他CEP产品。

大数据storm需要掌握的技术如下:

1、storm+kafka环境搭建-1

storm+kafka环境搭建-1 ,storm0.9.1+kafka0.8.1

2、storm+kafka环境搭建-2

storm+kafka环境搭建-2,storm0.9.1+kafka0.8.1环境搭建

3、storm+kafka环境搭建-3

4、项目分析

storm实战项目-项目分析

5、kafka producer测试

6、storm整合kafka

storm整合kafka,引入storm-kafka插件

7、storm和kafka整合项目测试

8、storm 订单有效性检查

9、storm 数据修正

10、storm 数据业务入库处理-1

11、storm 数据业务入库处理-2

12、storm 数据定时存库处理

13、入库mysql并进行测试和bug修复-1

14、入库mysql并进行测试和bug修复-2

15、优化数据结构-确保数据不丢失

16、zookeeper锁机制

17、增加zookeeper锁,保证多线程同时处理数据-1

18、增加zookeeper锁,保证多线程同时处理数据-2

学习地址:http://edu.51cto.com/course/course_id-1274.html

© 著作权归作者所有

让往事随风
粉丝 20
博文 100
码字总数 44322
作品 0
东城
私信 提问
使用 Twitter Storm 处理实时的大数据

使用 Twitter Storm 处理实时的大数据 流式处理大数据简介 IBM DW/M. Tim Jones, 独立作家, 顾问 简介: Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与...

IBMdW
2012/12/06
6.4K
3
Storm中数据的输入输出

转载请注明出处:http://blog.csdn.net/jmppok/article/details/17284817 概述 Storm是一个实时流处理系统,其中运行的是Topology。初学Storm的小伙伴可能会有这样的问题: 我写了Spout和Bol...

jmppok
2015/03/25
83
0
Hadoop、storm和Spark Streaming简单介绍(非原创)

文章大纲 一、Hadoop是什么 二、storm是什么 三、Spark Streaming是什么 四、Spark与storm比较 五、参考文章 一、Hadoop是什么 1. 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架...

故事爱人
06/14
0
0
Apache Storm简介及安装部署

Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming...

风火数据
2018/07/20
0
0
Spark cluster 部署

Spark 框架 Spark与Storm的对比 对于Storm来说: 1、建议在那种需要纯实时,不能忍受1秒以上延迟的场景下使用,比如实时金融系统,要求纯实时进行金融交易和分析 2、此外,如果对于实时计算的...

meteor_hy
2018/06/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

读书笔记:深入理解ES6 (五)

第五章 解构:使数据访问更便捷 第1节 为什么使用解构功能?   在ES5中,开发者们从对象、数组中获取特定数据并赋值给变量,编写了很多看起来同质化的代码。例如: 1 let options = {2 ...

张森ZS
4分钟前
0
0
CentOS7 yum方式安装MySQL5.7

在CentOS中默认安装有MariaDB,这个是MySQL的分支,但为了需要,还是要在系统中安装MySQL,而且安装完成之后可以直接覆盖掉MariaDB。 1 下载并安装MySQL官方的 Yum Repository [root@localho...

roockee
12分钟前
2
0
Allegro三种自定义设置快捷键的方法

Allegro自定义设置快捷键的三种方法: 1、在Allegro PCB editor 命令窗口直接定义 2、通过修改用户变量env文件来设置快捷键 3、定义笔画为快捷键 1、在Allegro PCB editor 命令窗口直接定义 ...

demyar
17分钟前
0
0
如何做一张能让人眼前一亮的大屏?

作为在职场驰骋的社会人,提到数据可视化大家应该都不陌生了。数据可视化的作用也不用我多说,主要是利用图形化手段,更清晰直观地将数据展示。多层次、交互式的可视化分析能够方便决策者理解...

朕想上头条
17分钟前
0
0
TL138/1808/6748-EthEVM开发板硬件CPU、FLASH、RAM

TL138/1808/6748-EthEVM是广州创龙基于SOM-TL138/1808/6748核心板开发的一款开发板,具有三个网络接口。由于SOM-TL138/1808/6748核心板管脚兼容,所以此三个核心板共用同一个底板。开发板采用...

Tronlong创龙
22分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部