文档章节

Twitter Storm Ubuntu 单机安装

netkiller-
 netkiller-
发布于 2013/08/02 16:25
字数 350
阅读 2023
收藏 10

第 121 章 Twitter Storm

121.1. 单机版

操作系统环境:Ubuntu 13.04 KVM虚拟机

安装 storm 涉及到安装以下包:python、zookeeper、zeromq、jzmq、storm

过程 121.1. Ubuntu + Storm 单机环境安装

  1. 安装 zookeeper

    $ sudo apt-get install zookeeper zookeeper-bin zookeeperd
  2. 安装 zeromq 与 jzmq

    $ sudo apt-get install openjdk-7-jdk
    $ sudo apt-get install libzmq-dev

    设置 JAVA_HOME 环境变量

    $ export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"

    编译安装 jzmq

    $ cd /usr/local/src/
    $ git clone git://github.com/nathanmarz/jzmq.git
    $ cd jzmq
    $ ./autogen.sh
    $ ./configure --prefix=/srv/jzmq-2.1.0
    $ javac src/org/zeromq/*.java
    $ touch src/classdist_noinst.stamp
    $ make && make install
    
    $ ls /srv/jzmq-2.1.0/
    lib  share
  3. 安装 Storm

    下载地址:https://github.com/nathanmarz/storm/downloads

    $ sudo apt-get install unzip
    
    $ cd /usr/local/src/
    $ $ wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
    $ unzip storm-0.8.1.zip
    $ $ sudo mv storm-0.8.1 /srv/
    $ sudo ln -s /srv/storm-0.8.1 /srv/storm
    cat >> ~/.bashrc <<'EOF'
    
    export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"
    export ZOOKEEPER_HOME="/usr/lib/zookeeper"
    export STORM_HOME=/srv/storm
    export PATH=$PATH:$PATH:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin
    EOF

    修改 Storm CONF_DIR 目录位置

    $ sed -i 's:CONF_DIR = os.path.expanduser("~/.storm"):CONF_DIR = "/srv/storm-0.8.1/conf":' /srv/storm/bin/storm
  4. 启动服务

    启动 zookeeper 服务

    $ sudo service zookeeper start

    启动 storm 服务

    /srv/storm/bin/storm nimbus &
    /srv/storm/bin/storm supervisor &
    /srv/storm/bin/storm ui &

    Storm UI

    http://192.168.6.2:8080/

    查看 Java 进程

    $ jps
    10382 Jps
    10228 supervisor
    10294 core
    10173 nimbus
  5. 测试 Storm

    $ sudo apt-get install maven2
    
    $ git clone git://github.com/nathanmarz/storm-starter
    $ cd storm-starter
    $ mvn -f m2-pom.xml package

    先进入Storm UI http://192.168.6.2:8080/, 然后运行下面与命令

    $ storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology wordcountTop

    在次进入 Storm UI 你会看到 wordcountTop

© 著作权归作者所有

netkiller-

netkiller-

粉丝 706
博文 274
码字总数 383156
作品 10
深圳
部门经理
私信 提问
使用 Twitter Storm 处理实时的大数据

使用 Twitter Storm 处理实时的大数据 流式处理大数据简介 IBM DW/M. Tim Jones, 独立作家, 顾问 简介: Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与...

IBMdW
2012/12/06
6.4K
3
Twitter Storm集群搭建小结

最近自己尝试搭建了一下Twitter Storm的集群,参考了很多网友的博客,特别是徐明明的;这里只对自己搭建时的过程和所遇到的问题做一个小总结,方便查阅。 Storm是Twitter开源的一个实时计算框...

Breath_L
2012/10/21
7.3K
4
Apache Storm 的历史及经验教训

Apache Storm 最近成为了ASF的顶级项目,这对于该项目和我个人而言是一个重大的里程碑。很难想像4年前Storm只是我脑海中的一个想法,但现在却成为了一个有着大社区支持并被无数企业使用的繁荣...

run_mei
2014/10/14
11.8K
10
如何在eclipse调试storm程序

一、介绍 storm提供了两种运行模式:本地模式和分布式模式。本地模式针对开发调试storm topologies非常有用。 Storm has two modes of operation: local mode and distributed mode. In loca...

cloud-coder
2014/02/16
10.1K
1
Kafka实战-Storm Cluster

1.概述   在《Kafka实战-实时日志统计流程》一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Sto...

smartloli
2015/06/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

PCB设计-Allegro软件入门系列-铺铜操作(下)

铺铜是PCB很常见的操作,PCB的敷铜一般都是覆地铜,增大地线面积,有利于地线阻抗降低,使电源和信号传输稳定,在高频的信号线附近敷铜,可大大减少电磁辐射干扰,起屏蔽作用。 本讲讲解啊一...

demyar
21分钟前
3
0
如何通过WASI SDK 在Linux上编译ZXing C++

Mozilla在今年三月份的时候公布了WASI。WASI的目标就是让WebAssembly在任何地方都可以运行,而不仅仅像现在这样只能运行在Node.js和Web浏览器中。WASI目前依然处于初级阶段,这篇文章分享下如...

yushulx
23分钟前
3
0
.Net界面开发神器—DevExpress官方汉化包免费下载!还在等什么?

点击获取DevExpress v19.1.7新版试用下载 DevExpress Localization Service允许您创建一组自定义的附属程序集,要将语言包添加到程序集中,请查看本文中为大家列出的对应版本的汉化包,下载并...

FILA6666
23分钟前
4
0
php生成二维码

        header('Content-Type: image/png');        //清除缓冲区,防止之前面不知道的情况下被加头部信息导致不显示图片内容        ob_clean();        $...

横着走的螃蟹
28分钟前
3
0
伪类和伪元素

伪类和伪元素 伪类和伪元素,对于绝大多数同学来说,都是耳熟能详的名字,但确实又有很多人搞不清楚它们之间的区别,以致于混淆概念。而当概念都混淆的时候,也往往意味着你不会经常使用它,...

不负好时光
31分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部