文档章节

大数据系列7:Storm – 流计算

杨尚川
 杨尚川
发布于 2015/04/06 19:16
字数 298
阅读 160
收藏 1

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar -xzvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

sudo apt-get install gcc

sudo apt-get install g++

sudo apt-get install libuuid-dev

./configure

sudo apt-get install make

make

sudo make install

 

sudo apt-get install git

git clone https://github.com/nathanmarz/jzmq.git

cd jzmq

sudo apt-get install pkg-config

./autogen.sh

./configure

touch src/classdist_noinst.stamp

cd src
javac -d . org/zeromq/*.java
cd ..

make

sudo make install

 

wget https://dl.dropboxusercontent.com/s/fl4kr7w0oc8ihdw/storm-0.8.2.zip

sudo apt-get install unzip

unzip storm-0.8.2.zip

cd storm-0.8.2

sudo vi /etc/profile

增加:

export STORM_HOME=/home/ysc/storm-0.8.2

export PATH=$PATH:$STORM_HOME/bin

       source /etc/profile

vi conf/storm.yaml

增加:

storm.zookeeper.servers:

     - "host001"

       nimbus.host: "host001"

       storm.local.dir: "/home/ysc/storm"

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702
    
-6703

       启动主节点

storm nimbus &

启动从节点

    storm supervisor &

启动WEB服务

       storm ui &

       访问:http://host001:8080

 

       git clone https://github.com/nathanmarz/storm-starter.git

       cd storm-starter

       sudo apt-get install maven2

       vi m2-pom.xml

       改变下面两个依赖的版本为3.0.3

                <dependency>

                       <groupId>org.twitter4j</groupId>

                       <artifactId>twitter4j-core</artifactId>

                       <version>3.0.3</version>

                </dependency>

                <dependency>

                       <groupId>org.twitter4j</groupId>

                       <artifactId>twitter4j-stream</artifactId>

                       <version>3.0.3</version>

                </dependency>

       mvn -f m2-pom.xml package

      

       cp m2-pom.xml pom.xml

       mvn eclipse:eclipse

       导入eclipse

       Java Build Path -> Add Variable… ->Configure Variables… -> New… -> Name: M2_REPO Path:maven存储库路径

      

       本地运行wordcount:

       storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology

       集群运行wordcount:

       storm jartarget/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology  wordcount

 

 

Storm相关框架研究交流群,有兴趣的请加Q群:321914133

 

 

 

APDPlat旗下十大开源项目

 

 

 

 

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
使用 Twitter Storm 处理实时的大数据

使用 Twitter Storm 处理实时的大数据 流式处理大数据简介 IBM DW/M. Tim Jones, 独立作家, 顾问 简介: Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与...

IBMdW
2012/12/06
6.4K
3
Hadoop、storm和Spark Streaming简单介绍(非原创)

文章大纲 一、Hadoop是什么 二、storm是什么 三、Spark Streaming是什么 四、Spark与storm比较 五、参考文章 一、Hadoop是什么 1. 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架...

故事爱人
06/14
0
0
大数据架构师:hadoop、Storm该选哪一个

首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件,磁...

上品好礼生活馆
2014/09/10
330
0
Storm笔记整理(一):简介与设计思想

[TOC] 实时计算概述 有别于传统的离线批处理操作(对很多数据的集合进行的操作),实时处理,说白就是针对一条一条的数据/记录进行操作,所有的这些操作进行一个汇总(截止到目前为止的所有的统...

xpleaf
2018/04/12
0
0
Apache Storm简介及安装部署

Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming...

风火数据
2018/07/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

前端技术之:Prisma Demo服务部署过程记录

安装前提条件: 1、已经安装了docker运行环境 2、以下命令执行记录发生在MackBook环境 3、已经安装了PostgreSQL(我使用的是11版本) 4、Node开发运行环境可以正常工作 首先需要通过Node包管...

popgis
今天
5
0
数组和链表

数组 链表 技巧一:掌握链表,想轻松写出正确的链表代码,需要理解指针获引用的含义: 对指针的理解,记住下面的这句话就可以了: 将某个变量赋值给指针,实际上就是将这个变量的地址赋值给指...

code-ortaerc
今天
4
0
栈-链式(c/c++实现)

上次说“栈是在线性表演变而来的,线性表很自由,想往哪里插数据就往哪里插数据,想删哪数据就删哪数据...。但给线性表一些限制呢,就没那么自由了,把线性表的三边封起来就变成了栈,栈只能...

白客C
今天
42
0
Mybatis Plus service

/** * @author beth * @data 2019-10-20 23:34 */@RunWith(SpringRunner.class)@SpringBootTestpublic class ServiceTest { @Autowired private IUserInfoService iUserInfoS......

一个yuanbeth
今天
5
0
php7-internal 7 zval的操作

## 7.7 zval的操作 扩展中经常会用到各种类型的zval,PHP提供了很多宏用于不同类型zval的操作,尽管我们也可以自己操作zval,但这并不是一个好习惯,因为zval有很多其它用途的标识,如果自己...

冻结not
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部