文档章节

storm与spring结合开发

吹比龙
 吹比龙
发布于 2016/12/08 13:53
字数 370
阅读 28
收藏 1

一、storm引入pom.xml注意用log4j2版本,防止与storm自己的log4j2冲突

即storm日志这块直接用storm本身的不需要额外加

        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.0.2</version>
            <scope>provided</scope>
        </dependency>

二、spring容器单例实现,保证每个插槽,即jvm仅有一个spring容器 

**
 * 
 * spring上下文单例实现,传说中的双重效验锁
 * 
 * @author lli
 * @version [版本号, 2016年9月21日]
 * @see [相关类/方法]
 * @since [产品/模块版本]
 */
public class SingletonCTX {
    private static Logger                                  LOGGER = LoggerFactory.getLogger(SingletonCTX.class);
    private volatile static ConfigurableApplicationContext CTX;

    private SingletonCTX() {}

    public static ConfigurableApplicationContext getInstance() {
        if (CTX == null) {
            synchronized (SingletonCTX.class) {
                if (CTX == null) {
                    CTX = new ClassPathXmlApplicationContext("applicationContext.xml");
                    LOGGER.info("------------------------------加载Spring环境。-----------------------------");
                }
            }
        }
        return CTX;
    }
}

三、打包发布问题

开发环境项目分包如下

parent
domain
core
util
storm

storm pom.xml

	<build>
		<plugins>
			<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<version>2.4</version>
				<configuration>
					<archive>
						<manifest>
							<mainClass>com.wttech.gnss.storm.topology.StormTopology</mainClass>
						</manifest>
					</archive>
					<descriptors>
						<descriptor>assembly.xml</descriptor>
					</descriptors>
				</configuration>
			</plugin>
		</plugins>
	</build>

与pom.xml同级文件assembly.xml

<assembly
	xmlns="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/plugins/maven-assembly-plugin/assembly/1.1.0 http://maven.apache.org/xsd/assembly-1.1.0.xsd">
	<!-- TODO: a jarjar format would be better -->
	<id>jar-with-dependencies</id>
	<formats>
		<format>jar</format>
	</formats>
	<includeBaseDirectory>false</includeBaseDirectory>
	<dependencySets>
		<dependencySet>
			<outputDirectory>/</outputDirectory>
			<useProjectArtifact>true</useProjectArtifact>
			<unpack>true</unpack>
			<includes>
				<include>com.wttech.gnss:gnss-core</include>
				<include>com.wttech.gnss:gnss-msg</include>
				<include>com.wttech.gnss:gnss-storm</include>
			</includes>
		</dependencySet>
	</dependencySets>
</assembly>

打包命令 assembly:assembly

注意打完后 只要**-jar-with-dependencies.jar 但是这个jar所需依赖包并没打进去,需要把所需要的第三方jarcopy到每个节点的storm的extbin目录下。

© 著作权归作者所有

共有 人打赏支持
吹比龙
粉丝 5
博文 119
码字总数 34820
作品 0
合肥
程序员
私信 提问
Twitter Storm进阶初步,Storm能做什么

本篇Blog是一个简单的Storm入门例子,目的让读者明白Storm是怎样的运行机制。以及后续会放出的几篇Storm高级特性以及最终将Storm融入Hadoop 2.x的YARN中。目的读者是已经进阶大数据的Hadoop,...

震秦
2014/04/13
0
8
storm自定义分组与Hbase预分区结合节省内存消耗

Hbas预分区 在系统中向hbase中插入数据时,常常通过设置region的预分区来防止大数据量插入的热点问题,提高数据插入的效率,同时可以减少当数据猛增时由于Region split带来的资源消耗。大量的...

刘洋intsmaze
2017/03/31
0
0
Flume+Kafka+Storm+Redis构建大数据实时处理系统

一、大数据处理的常用方法 之前在《采集→清洗→处理:基于MapReduce的离线数据分析》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是基于MapReduce的离线数据分析案例,其通...

技术小能手
07/09
0
0
基于Storm流计算天猫双十一作战室项目实战(Storm Kafka HBase Highchats)

基于Storm流计算天猫双十一作战室项目实战(Storm Kafka HBase Highchats) 网盘地址:https://pan.baidu.com/s/1-59o76H32Jfp0Vp-o8zLYg 提取码: im8f 备用地址(腾讯微云):https://share...

小小搞笑弟
11/16
0
0
Flume+Kafka+Storm+Redis构建大数据实时处理系统:实时统计网站PV、UV+展示

[TOC] 1 大数据处理的常用方法 前面在我的另一篇文章中《大数据采集、清洗、处理:使用MapReduce进行离线数据分析完整案例》中已经有提及到,这里依然给出下面的图示: 前面给出的那篇文章是...

xpleaf
04/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

给女朋友讲解什么是Optional【JDK 8特性】

前言 只有光头才能变强 前两天带女朋友去图书馆了,随手就给她来了一本《与孩子一起学编程》的书,于是今天就给女朋友讲解一下什么是Optional类。 至于她能不能看懂,那肯定是看不懂的。(学到...

Java3y
11分钟前
0
0
2019年六大新兴信息安全方向

导读 黑客攻击和网络犯罪的威胁正在不断升级,相应的技术“军备竞赛”正愈演愈烈,对于信息安全从业人员来说,掌握最新的信息安全工具,是在信息安全战争中生存下来的关键所在。 从特朗普的手...

问题终结者
17分钟前
0
0
redis扩展-自定义PropertyPlaceholderConfigurer,在spring属性注入之前,手动将properteis合并到spring容器中

背景:spring容器启动过程中,通过PropertyPlaceholderConfigurer读取properties配置文件,并将properties配置文件中的值注入spring bean的属性中, PropertyPlaceholderConfigurer使用方式多...

燃犀
19分钟前
0
0
PostgreSQL SPI 中的错误处理

PostgreSQL SPI 用于在 C 或是其他编程语言编写的扩展函数(存储过程)中调用数据库本身的解析器、规划器和执行器的功能,以及对 SQL 语句进行执行。 在最重要的一个函数 SPI_execute 的文档...

helloclia
20分钟前
0
0
深入理解Java内存模型

1 内存模型产生背景 在介绍Java内存模型之前,我们先了解一下物理计算机中的并发问题,理解这些问题可以搞清楚内存模型产生的背景。物理机遇到的并发问题与虚拟机中的情况有不少相似之处,物...

小刀爱编程
34分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部