文档章节

storm与spring结合开发

吹比龙
 吹比龙
发布于 2016/12/08 13:53
字数 370
阅读 28
收藏 1

一、storm引入pom.xml注意用log4j2版本,防止与storm自己的log4j2冲突

即storm日志这块直接用storm本身的不需要额外加

        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.0.2</version>
            <scope>provided</scope>
        </dependency>

二、spring容器单例实现,保证每个插槽,即jvm仅有一个spring容器 

**
 * 
 * spring上下文单例实现,传说中的双重效验锁
 * 
 * @author lli
 * @version [版本号, 2016年9月21日]
 * @see [相关类/方法]
 * @since [产品/模块版本]
 */
public class SingletonCTX {
    private static Logger                                  LOGGER = LoggerFactory.getLogger(SingletonCTX.class);
    private volatile static ConfigurableApplicationContext CTX;

    private SingletonCTX() {}

    public static ConfigurableApplicationContext getInstance() {
        if (CTX == null) {
            synchronized (SingletonCTX.class) {
                if (CTX == null) {
                    CTX = new ClassPathXmlApplicationContext("applicationContext.xml");
                    LOGGER.info("------------------------------加载Spring环境。-----------------------------");
                }
            }
        }
        return CTX;
    }
}

三、打包发布问题

开发环境项目分包如下

parent
domain
core
util
storm

storm pom.xml

	<build>
		<plugins>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<version>2.4</version>
				<configuration>
					<archive>
						<manifest>
							<mainClass>com.wttech.gnss.storm.topology.StormTopology</mainClass>
						</manifest>
					</archive>
					<descriptors>
						<descriptor>assembly.xml</descriptor>
					</descriptors>
				</configuration>
			</plugin>
		</plugins>
	</build>

与pom.xml同级文件assembly.xml

<assembly
	xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0 http://maven.apache.org/xsd/assembly-1.1.0.xsd">
	<!-- TODO: a jarjar format would be better -->
	<id>jar-with-dependencies</id>
	<formats>
		<format>jar</format>
	</formats>
	<includeBaseDirectory>false</includeBaseDirectory>
	<dependencySets>
		<dependencySet>
			<outputDirectory>/</outputDirectory>
			<useProjectArtifact>true</useProjectArtifact>
			<unpack>true</unpack>
			<includes>
				<include>com.wttech.gnss:gnss-core</include>
				<include>com.wttech.gnss:gnss-msg</include>
				<include>com.wttech.gnss:gnss-storm</include>
			</includes>
		</dependencySet>
	</dependencySets>
</assembly>

打包命令 assembly:assembly

注意打完后 只要**-jar-with-dependencies.jar 但是这个jar所需依赖包并没打进去,需要把所需要的第三方jarcopy到每个节点的storm的extbin目录下。

© 著作权归作者所有

共有 人打赏支持
吹比龙
粉丝 2
博文 115
码字总数 34703
作品 0
合肥
程序员
Twitter Storm进阶初步,Storm能做什么

本篇Blog是一个简单的Storm入门例子,目的让读者明白Storm是怎样的运行机制。以及后续会放出的几篇Storm高级特性以及最终将Storm融入Hadoop 2.x的YARN中。目的读者是已经进阶大数据的Hadoop,...

震秦
2014/04/13
0
8
storm自定义分组与Hbase预分区结合节省内存消耗

Hbas预分区 在系统中向hbase中插入数据时,常常通过设置region的预分区来防止大数据量插入的热点问题,提高数据插入的效率,同时可以减少当数据猛增时由于Region split带来的资源消耗。大量的...

刘洋intsmaze
2017/03/31
0
0
Flume+Kafka+Storm+Redis构建大数据实时处理系统

一、大数据处理的常用方法 之前在《采集→清洗→处理:基于MapReduce的离线数据分析》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是基于MapReduce的离线数据分析案例,其通...

技术小能手
07/09
0
0
如何在eclipse调试storm程序

一、介绍 storm提供了两种运行模式:本地模式和分布式模式。本地模式针对开发调试storm topologies非常有用。 Storm has two modes of operation: local mode and distributed mode. In loca...

cloud-coder
2014/02/16
0
1
Flume+Kafka+Storm+Redis构建大数据实时处理系统:实时统计网站PV、UV+展示

[TOC] 1 大数据处理的常用方法 前面在我的另一篇文章中《大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是...

xpleaf
04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

redis-hash

哈希类型是指健值本身又是一个键值对结构 基本命令: hset key field value 设置值 hget(获取),hdel(删除),hlen(计算field个数),hmget(批量设置),hexists(是否存在),hkeys(获取所有的...

拐美人
17分钟前
1
0
简单的svm例子

数据来源:https://github.com/oumiga1314/Coursera-ML-AndrewNg-Notes/blob/master/code/ex6-SVM/data/ex6data1.mat import pandas as pd import numpy as np import scipy.io as sio impor......

南桥北木
21分钟前
0
0
android 关于View的一些整理

1、Button text的值为英文时,会自动转换成大写。如需取消,设置android:textAllCaps="false" 2、控件的可见性 可以在layout的配置文件中,配置android:visibility属性 调用setVisibility()...

西米小娅
31分钟前
0
0
Spring JDBC数据源分析

Spring数据源分析 分析这样一段代码: package com.jason.spring.datasource.jdbc;import org.springframework.context.support.ClassPathXmlApplicationContext;import org.springframew......

宸明
39分钟前
1
0
FatJar:适用于sdk多module打包和合并多个jar的gradle插件

usage: 1.下载fatJar.gradle放置于project根目录 2.在project的build.gradle中添加依赖和配置: apply from: 'fatJar.gradle'buildscript { dependencies { classpath 'xyz......

SuShine
56分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部