文档章节

大数据系列7:Storm – 流计算

杨尚川
 杨尚川
发布于 2015/04/06 19:16
字数 298
阅读 154
收藏 1

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz

tar -xzvf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

sudo apt-get install gcc

sudo apt-get install g++

sudo apt-get install libuuid-dev

./configure

sudo apt-get install make

make

sudo make install

 

sudo apt-get install git

git clone https://github.com/nathanmarz/jzmq.git

cd jzmq

sudo apt-get install pkg-config

./autogen.sh

./configure

touch src/classdist_noinst.stamp

cd src
javac -d . org/zeromq/*.java
cd ..

make

sudo make install

 

wget https://dl.dropboxusercontent.com/s/fl4kr7w0oc8ihdw/storm-0.8.2.zip

sudo apt-get install unzip

unzip storm-0.8.2.zip

cd storm-0.8.2

sudo vi /etc/profile

增加:

export STORM_HOME=/home/ysc/storm-0.8.2

export PATH=$PATH:$STORM_HOME/bin

       source /etc/profile

vi conf/storm.yaml

增加:

storm.zookeeper.servers:

     - "host001"

       nimbus.host: "host001"

       storm.local.dir: "/home/ysc/storm"

supervisor.slots.ports:

    - 6700

    - 6701

    - 6702
    
-6703

       启动主节点

storm nimbus &

启动从节点

    storm supervisor &

启动WEB服务

       storm ui &

       访问:http://host001:8080

 

       git clone https://github.com/nathanmarz/storm-starter.git

       cd storm-starter

       sudo apt-get install maven2

       vi m2-pom.xml

       改变下面两个依赖的版本为3.0.3

                <dependency>

                       <groupId>org.twitter4j</groupId>

                       <artifactId>twitter4j-core</artifactId>

                       <version>3.0.3</version>

                </dependency>

                <dependency>

                       <groupId>org.twitter4j</groupId>

                       <artifactId>twitter4j-stream</artifactId>

                       <version>3.0.3</version>

                </dependency>

       mvn -f m2-pom.xml package

      

       cp m2-pom.xml pom.xml

       mvn eclipse:eclipse

       导入eclipse

       Java Build Path -> Add Variable… ->Configure Variables… -> New… -> Name: M2_REPO Path:maven存储库路径

      

       本地运行wordcount:

       storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology

       集群运行wordcount:

       storm jartarget/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jarstorm.starter.WordCountTopology  wordcount

 

 

Storm相关框架研究交流群,有兴趣的请加Q群:321914133

 

 

 

APDPlat旗下十大开源项目

 

 

 

 

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1102
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
使用 Twitter Storm 处理实时的大数据

使用 Twitter Storm 处理实时的大数据 流式处理大数据简介 IBM DW/M. Tim Jones, 独立作家, 顾问 简介: Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与...

IBMdW
2012/12/06
6.4K
3
Hadoop、storm和Spark Streaming简单介绍(非原创)

文章大纲 一、Hadoop是什么 二、storm是什么 三、Spark Streaming是什么 四、Spark与storm比较 五、参考文章 一、Hadoop是什么 1. 简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架...

故事爱人
06/14
0
0
大数据架构师:hadoop、Storm该选哪一个

首先整体认识:Hadoop是磁盘级计算,进行计算时,数据在磁盘上,需要读写磁盘;Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件,磁...

上品好礼生活馆
2014/09/10
327
0
Storm笔记整理(一):简介与设计思想

[TOC] 实时计算概述 有别于传统的离线批处理操作(对很多数据的集合进行的操作),实时处理,说白就是针对一条一条的数据/记录进行操作,所有的这些操作进行一个汇总(截止到目前为止的所有的统...

xpleaf
2018/04/12
0
0
Apache Storm简介及安装部署

Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming...

风火数据
2018/07/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

shangcheng-my

1.数据库主键、外键类型为bigint,那么在后台应该用什么类型的变量定义? 后台用string接收,因为前段传过来的一般都是json字符串,后台直接接收,mysql是可以吧数字类型的字符串转换为对应的...

榴莲黑芝麻糊
昨天
1
0
微服务架构依赖图

基于spring-cloud-alibaba + dubbo

龙影
昨天
3
0
Centos7 安装zabbix-agent

rpm -i https://repo.zabbix.com/zabbix/4.2/rhel/6/x86_64/zabbix-release-4.2-2.el6.noarch.rpm 可以到https://repo.zabbix.com/zabbix找到对应的版本 yum install zabbix-agent -y 出现E......

abowu
昨天
8
0
文本编辑器GNU nano 4.4 发布

GNU nano 4.4 "Hagelslag" 更新日志: 启动时,光标可以放在第一个或最后一个出现位置 字符串前面带有+/string 或 +?string的字符串。 发生自动硬包装时((--breaklonglines),任何前导引号...

linuxCool
昨天
7
0
你知道字节序吗

字节序 最近在调一个自定义报文的接口时,本来以为挺简单的,发现踩了好几个坑,其中一个比较“刻骨铭心”的问题就是数据的字节序问题。 背景 自定义报文,调用接口,服务端报文解析失败 iO...

杭城小刘
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部