文档章节

Hadoop集群下进行集成测试的小策略

猪刚烈
 猪刚烈
发布于 2014/10/12 11:40
字数 396
阅读 17
收藏 0

行业解决方案、产品招募中!想赚钱就来传!>>>

对于maven工程来说,默认的integration test是作为构建周期的一个phase进行的,这对一般的工程进行集成测试来说是很方便的,但是对于Hadoop(或HBase)项目来说是不太适合的,主要是因为一方面它们的应用都是在集群环境下运行的,另一方面开发环境可能是windows而非linux,这些原因使得在本地开发环境下使用mvn命令进行integration test变得很不方便,当然,你也可以在集群测试环境上检出代码来进行integration test,但是这样做除了需要在测试集群上建立开发环境,如安装构建工具,配置管理工具等,还有可能在开发测试阶段催生很多细小琐碎的check-in。就我个人来说,比较倾向的一种干净利落的方式是把测试代码打成jar包,上传至目标集群,使用命令行启动测试(推荐使用testng进行集成测试),通过一个bat脚本把这些动作集成起来,这样做可以在开发端一键完成,使用起来还是非常方便的。实际上,这种操作方式在hadoop这种“基于linux"的"集群“环境下是非常适用和通用的,不只是集成测试,包括项目的部署,服务的启动都可以这样做,从实践上来看,可以大提升开发效率,效果很好。
猪刚烈

猪刚烈

粉丝 22
博文 708
码字总数 110
作品 1
海淀
程序员
私信 提问
加载中
请先登录后再评论。
CDH5: 使用parcels配置lzo

一、Parcel 部署步骤 1 下载: 首先需要下载 Parcel。下载完成后,Parcel 将驻留在 Cloudera Manager 主机的本地目录中。 2 分配: Parcel 下载后,将分配到群集中的所有主机上并解压缩。 3 激...

cloud-coder
2014/07/01
6.8K
1
Swift百万线程攻破单例(Singleton)模式

一、不安全的单例实现 在上一篇文章我们给出了单例的设计模式,直接给出了线程安全的实现方法。单例的实现有多种方法,如下面: class SwiftSingleton { } 这段代码的实现,在shared中进行条...

一叶博客
2014/06/20
3.2K
16
beego API开发以及自动化文档

beego API开发以及自动化文档 beego1.3版本已经在上个星期发布了,但是还是有很多人不了解如何来进行开发,也是在一步一步的测试中开发,期间QQ群里面很多人都问我如何开发,我的业余时间实在...

astaxie
2014/06/25
2.7W
21
TDD的测试框架--Machine.Specification

Machine.Specification 是一个 TDD 测试驱动开发的测试框架,简化了测试,无需关心语言本身特性。 Machine.Specifications 带来的好处是不需要在代码里有注释,但同时阅读代码的人可以一目了...

匿名
2013/01/22
1K
0
Rails 测试工具--RailsBench

Railsbench是一款专门用于rails的测试工具。 1. 安装Railsbench # gem install railsbench # gem install gruff # gem install rmagick...

匿名
2013/02/17
346
0

没有更多内容

加载失败,请刷新页面

加载更多

TensorFlow 机器学习秘籍中文第二版·翻译完成

原文:TensorFlow Machine Learning Cookbook 协议:CC BY-NC-SA 4.0 不要担心自己的形象,只关心如何实现目标。——《原则》,生活原则 2.3.c 在线阅读 ApacheCN 面试求职交流群 724187166 ...

布客飞龙
12分钟前
9
0
gin 怎么写个简单的中间件

gin 写个简单中间件,直接上例子: func GinServer() {engine := gin.Default()engine.Use(TestMiddleware)engine.GET("/", func(context *gin.Context) {context.JSON(http.......

is晓歌
16分钟前
12
0
查找算法——插值查找

对于有序的查找表,除了顺序查找、折半查找、斐波那契查找,还可以使用插值查找,对于元素分布较为均匀的查找表,插值查找的性能更优。不妨设想一下存在这样子的序列[10, 12, 14, 16, 18],以...

城北徐公美
19分钟前
20
0
asm 数组的双向传递

asm目前测试中比js大概能快 1.2 - 1.5倍左右 c/c++ 能快1.7 - 2.3 倍左右 asm的最大优势还是书写可以使用类似ts的语法, 比go和c系更加方便, 学习和改造已有工具的成本不大 但是性能还是问题,...

阿豪boy
24分钟前
26
0
为什么国内流行的 MyBatis ,国外 Java 工程师却不愿意使用?

Spring 团队的Josh Long自己在Twitter上做了一个调查。1625次投票,样本量不算大,但也能说明问题。和我答案最后的那些调查图表基本一致。 我们看一下Google Trends的数据: 搜索条件是这样的...

码农突围
32分钟前
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部