文档章节

storm-环境搭建和第一个topology

深蓝苹果
 深蓝苹果
发布于 2014/06/10 16:31
字数 391
阅读 411
收藏 2

从原理到操作,还是有点距离 :)

基于 Linux ubuntu 3.13.0-24-generic 

-------------


预备工作

* java

* python(>=2.6)

* zeromq

* jzmq

* zookeeper


下载(不需安装)

wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip 

unzip storm-0.8.1.zip 

cd storm-0.8.1/


配置--vim conf/storm.yaml

------------------------------------

# zookeeper的集群服务器地址(可多个)

storm.zookeeper.servers:

- "127.0.0.1"


# nimbus 服务器

# 各个Supervisor工作节点需要知道哪个机器是Nimbus,以便下载Topologies的jars、confs等文件

nimbus.host: "127.0.0.1"


# Nimbus和Supervisor进程用于存储少量状态,如jars、confs等的本地磁盘目录,需要提前创建该目录并给以足够的访问权限

storm.local.dir: "/home/admin/storm/workdir"


# 对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。

# 每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。

# 默认情况下,每个节点上可运行4个workers

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

------------------------------------


启动

bin/storm nimbus >/dev/null 2>&1 &

bin/storm supervisor >/dev/null 2>&1 &

bin/storm ui >/dev/null 2>&1 &


查看管理台(还比较粗糙)

http://127.0.0.1:8080


 编写topology

- 下载storm相关库

* 在 http://storm.incubator.apache.org/downloads.html 下载

http://ftp.cuhk.edu.hk/pub/packages/apache.org/incubator/storm/apache-storm-0.9.1-incubating/apache-storm-0.9.1-incubating.tar.gz


- 在eclipse建立工程

* 导入上述storm库

* 如 http://tianhailong.com/%E6%9C%AC%E5%9C%B0%E6%A8%A1%E5%BC%8F%E8%BF%90%E8%A1%8Cstorm%E7%9A%84demo.html 建立工程所需文件

* 导出工程为jar

* 创建输入文件 words.txt

* 放到先前 ubuntu 中,执行

     java -jar storm_wordcount.jar words.txt


© 著作权归作者所有

深蓝苹果
粉丝 33
博文 95
码字总数 32473
作品 0
深圳
程序员
私信 提问
storm 原理简介及单机版安装指南(转)

本文翻译自: https://github.com/nathanmarz/storm/wiki/Tutorial Storm是一个分布式的、高容错的实时计算系统。 Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供...

Jacos
2014/12/03
2.3K
0
Storm入门 第三章 Storm安装部署步骤

本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。 3.1 Storm集群组件 Storm集群中包含...

坏坏一笑
2014/12/03
80
0
storm client command

最近在研究实时日志分析,storm确实不错,以下是命令参数: storm help Syntax: storm jar topology-jar-path class 运行jar包中类的主函数和指定的参数 Commands: activate storm activate ...

China_OS
2014/02/22
1K
0
storm 原理简介及单机版安装指南

本文翻译自: https://github.com/nathanmarz/storm/wiki/Tutorial Storm是一个分布式的、高容错的实时计算系统。 Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供...

大数据之路
2013/07/28
17K
5
Apache Slider + Storm

Apache Slider + Storm 系统环境 安装如下组件,部署可用环境 JDK 1.7.0_79 Apache Zookeeper 3.4.* Apache Zookeeper Apache Hadoop 2.6.* Apache Hadoop Apache Storm 0.9.4 Apache Storm......

Yulong_
2016/09/21
457
0

没有更多内容

加载失败,请刷新页面

加载更多

采坑指南——k8s域名解析coredns问题排查过程

正文 前几天,在ucloud上搭建的k8s集群(搭建教程后续会发出)。今天发现域名解析不了。 组件版本:k8s 1.15.0,coredns:1.3.1 过程是这样的: 首先用以下yaml文件创建了一个nginx服务 apiV...

码农实战
4分钟前
1
0
【2019年8月版本】OCP 071认证考试最新版本的考试原题-第6题

choose three Which three statements are true about indexes and their administration in an Orade database? A) An INVISIBLE index is not maintained when Data Manipulation Language......

oschina_5359
7分钟前
1
0
阿里巴巴开源 Dragonwell JDK 最新版本 8.1.1-GA 发布

导读:新版本主要有三大变化:同步了 OpenJDK 上游社区 jdk8u222-ga 的最新更新;带来了正式的 feature:G1ElasticHeap;发布了用户期待的 Windows 实验版本 Experimental Windows version。...

阿里巴巴云原生
12分钟前
1
0
教你玩转Linux—磁盘管理

Linux磁盘管理好坏直接关系到整个系统的性能问题,Linux磁盘管理常用三个命令为df、du和fdisk。 df df命令参数功能:检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少...

xiangyunyan
15分钟前
3
0
js 让textarea的高度自适应父元素的高度

textarea按照普通元素设置height是没有作用的,可以这么来设置, 下面给上一段项目代码 JS代码: $.fn.extend({ txtaAutoHeight: function () { return this.each(function () {...

文文1
16分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部