文档章节

Twitter Storm Ubuntu 单机安装

netkiller-
 netkiller-
发布于 2013/08/02 16:25
字数 350
阅读 2023
收藏 10

第 121 章 Twitter Storm

121.1. 单机版

操作系统环境:Ubuntu 13.04 KVM虚拟机

安装 storm 涉及到安装以下包:python、zookeeper、zeromq、jzmq、storm

过程 121.1. Ubuntu + Storm 单机环境安装

  1. 安装 zookeeper

    $ sudo apt-get install zookeeper zookeeper-bin zookeeperd
  2. 安装 zeromq 与 jzmq

    $ sudo apt-get install openjdk-7-jdk
    $ sudo apt-get install libzmq-dev

    设置 JAVA_HOME 环境变量

    $ export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"

    编译安装 jzmq

    $ cd /usr/local/src/
    $ git clone git://github.com/nathanmarz/jzmq.git
    $ cd jzmq
    $ ./autogen.sh
    $ ./configure --prefix=/srv/jzmq-2.1.0
    $ javac src/org/zeromq/*.java
    $ touch src/classdist_noinst.stamp
    $ make && make install
    
    $ ls /srv/jzmq-2.1.0/
    lib  share
  3. 安装 Storm

    下载地址:https://github.com/nathanmarz/storm/downloads

    $ sudo apt-get install unzip
    
    $ cd /usr/local/src/
    $ $ wget https://github.com/downloads/nathanmarz/storm/storm-0.8.1.zip
    $ unzip storm-0.8.1.zip
    $ $ sudo mv storm-0.8.1 /srv/
    $ sudo ln -s /srv/storm-0.8.1 /srv/storm
    cat >> ~/.bashrc <<'EOF'
    
    export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"
    export ZOOKEEPER_HOME="/usr/lib/zookeeper"
    export STORM_HOME=/srv/storm
    export PATH=$PATH:$PATH:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin
    EOF

    修改 Storm CONF_DIR 目录位置

    $ sed -i 's:CONF_DIR = os.path.expanduser("~/.storm"):CONF_DIR = "/srv/storm-0.8.1/conf":' /srv/storm/bin/storm
  4. 启动服务

    启动 zookeeper 服务

    $ sudo service zookeeper start

    启动 storm 服务

    /srv/storm/bin/storm nimbus &
    /srv/storm/bin/storm supervisor &
    /srv/storm/bin/storm ui &

    Storm UI

    http://192.168.6.2:8080/

    查看 Java 进程

    $ jps
    10382 Jps
    10228 supervisor
    10294 core
    10173 nimbus
  5. 测试 Storm

    $ sudo apt-get install maven2
    
    $ git clone git://github.com/nathanmarz/storm-starter
    $ cd storm-starter
    $ mvn -f m2-pom.xml package

    先进入Storm UI http://192.168.6.2:8080/, 然后运行下面与命令

    $ storm jar target/storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology wordcountTop

    在次进入 Storm UI 你会看到 wordcountTop

© 著作权归作者所有

netkiller-

netkiller-

粉丝 706
博文 274
码字总数 383156
作品 10
深圳
部门经理
私信 提问
使用 Twitter Storm 处理实时的大数据

使用 Twitter Storm 处理实时的大数据 流式处理大数据简介 IBM DW/M. Tim Jones, 独立作家, 顾问 简介: Storm 是一个开源的、大数据处理系统,与其他系统不同,它旨在用于分布式实时处理且与...

IBMdW
2012/12/06
6.4K
3
Twitter Storm集群搭建小结

最近自己尝试搭建了一下Twitter Storm的集群,参考了很多网友的博客,特别是徐明明的;这里只对自己搭建时的过程和所遇到的问题做一个小总结,方便查阅。 Storm是Twitter开源的一个实时计算框...

Breath_L
2012/10/21
7.3K
4
Apache Storm 的历史及经验教训

Apache Storm 最近成为了ASF的顶级项目,这对于该项目和我个人而言是一个重大的里程碑。很难想像4年前Storm只是我脑海中的一个想法,但现在却成为了一个有着大社区支持并被无数企业使用的繁荣...

run_mei
2014/10/14
11.8K
10
如何在eclipse调试storm程序

一、介绍 storm提供了两种运行模式:本地模式和分布式模式。本地模式针对开发调试storm topologies非常有用。 Storm has two modes of operation: local mode and distributed mode. In loca...

cloud-coder
2014/02/16
10.1K
1
Kafka实战-Storm Cluster

1.概述   在《Kafka实战-实时日志统计流程》一文中,谈到了Storm的相关问题,在完成实时日志统计时,我们需要用到Storm去消费Kafka Cluster中的数据,所以,这里我单独给大家分享一篇Sto...

smartloli
2015/06/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

ReentrantLock的可重入特性

在自旋分布式锁实现 中我们已经分析了ReentrantLock的自旋特性,现在我们来分析一下它的可重入特性。 可重入特性其实说白了就是当获得锁的线程解锁后,重新来获取锁的时候会判断自己以前是否...

算法之名
52分钟前
8
0
js如何控制table中的某一行动态置顶

两行代码搞定: $('#'+item.roadCode).fadeOut().fadeIn();//获取到需要置顶的行 $(".table").prepend($('#'+item.roadCode)); 其中,fadeOut()方法 作用 --- 从可见到隐藏 如下: prepend(......

码妞
今天
4
0
四种解决Nginx出现403 forbidden 报错的方法

我是在在本地用虚拟机中通过yum安装nginx的,安装一切正常,但是访问时报403, 于是查看nginx日志,路径为/var/log/nginx/error.log。打开日志发现报错Permission denied,详细报错如下: 1....

dragon_tech
今天
3
0
获取RestResultResponse返回的值

Springboot项目,需要调其他服务的接口,返回值类型是RestResultResponse 打断点的结果集是这个 打印出来的getData(): [{id=3336b624-8474-4dd9-bd5b-c7358687c877, paraNo=104, para=Postpo...

栾小糖
今天
4
0
【小学】 生成10以内的加减法

#!/usr/bin/env python# coding: utf-8from random import randrange# 题目的最大数值R_MAX = 10# 生成的题目的数量R_PAGE = 70# 生成减法列表def get_sub_list():...

Tensor丨思悟
今天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部