文档章节

Hadoop集群下进行集成测试的小策略

猪刚烈
 猪刚烈
发布于 2014/10/12 11:40
字数 396
阅读 7
收藏 0
对于maven工程来说,默认的integration test是作为构建周期的一个phase进行的,这对一般的工程进行集成测试来说是很方便的,但是对于Hadoop(或HBase)项目来说是不太适合的,主要是因为一方面它们的应用都是在集群环境下运行的,另一方面开发环境可能是windows而非linux,这些原因使得在本地开发环境下使用mvn命令进行integration test变得很不方便,当然,你也可以在集群测试环境上检出代码来进行integration test,但是这样做除了需要在测试集群上建立开发环境,如安装构建工具,配置管理工具等,还有可能在开发测试阶段催生很多细小琐碎的check-in。就我个人来说,比较倾向的一种干净利落的方式是把测试代码打成jar包,上传至目标集群,使用命令行启动测试(推荐使用testng进行集成测试),通过一个bat脚本把这些动作集成起来,这样做可以在开发端一键完成,使用起来还是非常方便的。实际上,这种操作方式在hadoop这种“基于linux"的"集群“环境下是非常适用和通用的,不只是集成测试,包括项目的部署,服务的启动都可以这样做,从实践上来看,可以大提升开发效率,效果很好。

本文转载自:http://blog.csdn.net/bluishglc/article/details/17323537

共有 人打赏支持
猪刚烈
粉丝 22
博文 708
码字总数 110
作品 1
海淀
程序员
Apache Eagle:分布式实时 Hadoop 数据安全方案

摘要:日前,eBay公司隆重宣布正式向开源业界推出实时分布式Hadoop数据安全方案 - Apache Eagle,作为一套旨在提供高效分布式的流式策略引擎,并集成机器学习对用户行为建立Profile以实时智能...

oschina
2015/10/29
7K
7
Apache Ignite(八):核心特性一览

1.事务和分析 1.1.数据网格 Ignite内存数据网格是一个内存内的键值存储,他可以在分布式集群的内存内缓存数据。它通过强语义的数据位置和关系数据路由,来降低冗余数据的噪声,使其可以节点数...

李玉珏
2016/05/28
800
5
Hadoop专业解决方案-第12章 为Hadoop应用构建企业级的安全解决方案

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后 大家已经步入正轨, 目前第12章 为Hadoop应用...

张子良
2014/02/18
0
0
Hadoop 数据安全方案--Apache Eagle

eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案 - Apache Eagle ,该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎,具有高实时、可伸...

红薯
2015/10/28
9.3K
0
Apache Ignite(二):核心特性一览(V1.4.0版本)

1.数据网格 Ignite内存数据网格是一个内存内的键值存储,他可以在分布式集群的内存内缓存数据。它通过强语义的数据位置和关系数据路由,来降低冗余数据的噪声,使其可以节点数的线性增长,直...

李玉珏
2015/12/29
1K
11

没有更多内容

加载失败,请刷新页面

加载更多

下一页

002,zabbix-agent的安装 监控Linux主机

2.1.安装zabbix-agent $ rpm -i http://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpm$ yum install -y zabbix-agent zabbix-get 2.2.配置zabbix-agent ......

happyeveryday32
36分钟前
2
0
docker learn :swarm

swarm是什么 swarm是一组运行docker服务的集群,之后,还是使用那些命令去操作docker,但是是通过swarm manager来执行的。 swarm中的机器可以是实体的也可以是虚拟的,加入swarm后,他们被当作...

writeademo
36分钟前
1
0
Golang + vscode 开发环境配置

GOPATH 环境变量的配置 https://my.oschina.net/xinxingegeya/blog/718305 安装vscode go 扩展 下载vscode ,安装go的扩展https://github.com/Microsoft/vscode-go 该扩展对 Golang 支持非常......

秋风醉了
38分钟前
0
0
idea jar包

我自己用idea新建一个springboot项目,打包一直有问题,百度了下,又总结了下。 方式一: 找到Project Structure菜单,然后点开,照下图点击 然后出现下图所示 红框1:为你项目的main函数所在...

朝如青丝暮成雪
40分钟前
0
0
Vue scoped CSS 与深度作用选择器 /deep/

使用 scoped 后,父组件的样式将不会渗透到子组件中。 例如(无效): <template> <div id="app"> <el-input class="text-box" v-model="text"></el-input> </div></template><......

不负好时光
40分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部