文档章节

Hadoop集群下进行集成测试的小策略

猪刚烈
 猪刚烈
发布于 2014/10/12 11:40
字数 396
阅读 7
收藏 0
对于maven工程来说,默认的integration test是作为构建周期的一个phase进行的,这对一般的工程进行集成测试来说是很方便的,但是对于Hadoop(或HBase)项目来说是不太适合的,主要是因为一方面它们的应用都是在集群环境下运行的,另一方面开发环境可能是windows而非linux,这些原因使得在本地开发环境下使用mvn命令进行integration test变得很不方便,当然,你也可以在集群测试环境上检出代码来进行integration test,但是这样做除了需要在测试集群上建立开发环境,如安装构建工具,配置管理工具等,还有可能在开发测试阶段催生很多细小琐碎的check-in。就我个人来说,比较倾向的一种干净利落的方式是把测试代码打成jar包,上传至目标集群,使用命令行启动测试(推荐使用testng进行集成测试),通过一个bat脚本把这些动作集成起来,这样做可以在开发端一键完成,使用起来还是非常方便的。实际上,这种操作方式在hadoop这种“基于linux"的"集群“环境下是非常适用和通用的,不只是集成测试,包括项目的部署,服务的启动都可以这样做,从实践上来看,可以大提升开发效率,效果很好。

本文转载自:http://blog.csdn.net/bluishglc/article/details/17323537

共有 人打赏支持
猪刚烈
粉丝 22
博文 708
码字总数 110
作品 1
海淀
程序员
Apache Eagle:分布式实时 Hadoop 数据安全方案

摘要:日前,eBay公司隆重宣布正式向开源业界推出实时分布式Hadoop数据安全方案 - Apache Eagle,作为一套旨在提供高效分布式的流式策略引擎,并集成机器学习对用户行为建立Profile以实时智能...

oschina
2015/10/29
7K
7
Apache Ignite(八):核心特性一览

1.事务和分析 1.1.数据网格 Ignite内存数据网格是一个内存内的键值存储,他可以在分布式集群的内存内缓存数据。它通过强语义的数据位置和关系数据路由,来降低冗余数据的噪声,使其可以节点数...

李玉珏
2016/05/28
800
5
Hadoop专业解决方案-第12章 为Hadoop应用构建企业级的安全解决方案

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后 大家已经步入正轨, 目前第12章 为Hadoop应用...

张子良
2014/02/18
0
0
Hadoop数据迁移MaxCompute最佳实践

本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。 1. 环境准备 1.1 Hadoop集群搭建 进行数据迁移前,您需要保证自己的Hadoop集群...

付帅
09/10
0
0
Hadoop 数据安全方案--Apache Eagle

eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案 - Apache Eagle ,该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎,具有高实时、可伸...

红薯
2015/10/28
9.3K
0

没有更多内容

加载失败,请刷新页面

加载更多

申请Let's Encrypt永久免费SSL证书

环境安装 1、安装git yum install git-core 2、安装python 系统自带 不用安装 只要版本大于2.7即可。 获取Let's Encrypt免费SSL证书 先停止nginx 在阿里云安全组里加入 443端口的入规则 git ...

HGMrWang
36分钟前
1
0
如何使用playframework进行更好的开发

1: 自定义基类Controller 相信刚开始使用Play的人写的Controller 都继承于 play.mvc.Controller , 但这并不是一个很好的选择,自建基类Controller可以扩展更多的功能。 1.1 验证功能。 后台...

tuerqidi
41分钟前
4
0
解决ubuntu下root用户 不能ftp登陆的问题

解决ubuntu下root用户 不能ftp登陆的问题 一般情况下,由于种种原因ftp是不让root用户远程登陆,但只要你修改以个文件就可以登陆了. 注释掉 /etc/ftpusers 中的root即可 (最后重启vsftpd serv...

15834278076
53分钟前
0
0
《JavaScript高级程序设计(第3版)》阅读笔记

第6章 面向对象的程序设计 6.2 创建对象 6.2.1 工厂模式 JavaScript创建对象(一)—— 工厂模式 6.2.2 构造函数模式 JavaScript创建对象(二)——构造函数模式 6.2.3 原型模式 JavaScript...

Bob2100
57分钟前
1
0
Windows小技巧 – Win+R提高Windows使用效率

追求效率的朋友都需要一款顺手的快速启动工具,Win 平台上有键盘流的RunZ、Listary、ALTRun、Launchy、Wox 和图标流的 Fences、Rolan、 WinLaunch 等,而 Mac 上也有 Alfred、Spotlight。 而...

QQZZFT
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部