文档章节

Hadoop的作业平台Zeus最完整介绍

aibati2008
 aibati2008
发布于 2017/02/23 17:51
字数 2755
阅读 66
收藏 1

【Zeus3简介】

Zeus3是一个完整的Hadoop的作业平台,是基于Zeus的一个二次开发项目,从Hadoop任务的调试运行到生产任务的周期调度,宙斯支持任务的整个生命周期从功能上来说,支持:
HadoopMapReduce任务的调试运行
Hive任务的调试运行
Shell任务的运行
Hive元数据的可视化查询与数据预览
Hadoop任务的自动调度
完整的文档管理

【作者简介】

蔡畅奇(Andy.cai),Java工程师 一直从事软件研发工作, 从2010年开始从事大数据的工作,做过ERP, 车联网, 爬虫, 电商系统的大数据体系架构. 专研过Java分布式编程以及传统、机器学习算法。287888203@qq.com,http://www.quora.com/Changqi-Cai

Andy.cai利用业余时间在阿里Zeus/Zeus2的基础上做二次开发,历时2周,并完善使用文档贡献给大家。

【文章正文】

改造Zeus的由来还要从项目组上Hive离线挖掘说起。当初项目组上Hive数据仓库需要调度各种Hive-SQL与Linux-Shell脚本,最开始的时候是通过Linux终端直接在生产环境上部署,并通过Linux的crontab调度。

生产环境上第一个脚本调度程序没有感觉,上多个后发现问题太多了:

[a]每个脚本程序运行情况不好监控,程序运行情况无法可视化查看

[b]每个服务器上跑了多少调度脚本不清楚

[c]运维同事生产发版更乱,无法简单地掌握全部调度情况

[d]复杂的workflow调度只能通过shell里面调用子shell的方式,耦合太深,不利于模块化。

[e]缺乏脚本调度的统计,多少成功,多少失败,多少延迟等

为了解决这个问题,需要采用一套调度系统,由于生产集群有安全控制需要,所以最好能是可以Web显示的系统。

我之前调研过Oozie调度系统,Oozie使用的时候有以下不便:

[a]Oozie调度的Workflow只能使用XML文件配置

[b]启动调度只能通过命令行

[c]无法通过Oozie界面调试调度脚本

[d]Oozie无法可视化调试脚本时候

[e]无法分组,权限管理等

同时调研过Kettle系统,Kettle更多关注在关系型DB之间的调度。由于Kettle不支持web页面,并且通过Hive Server调度Hive做Hive计算不太灵活。

因此视线转移到了阿里的Zeus大数据调度系统[1],但是阿里的Zeus调度系统距离现在已经2年没有维护。说到Zeus调度系统,我本人一年多前面试杭州阿里的推荐引擎大部门算法专家职位的时候,面试我的主管还特地问过我例如:Zeus是干啥的之类的问题,并给我介绍Zeus是他们团队的作品。加上Zeus是用java开发,我这几年一直研究阿里的java开源系统与java中间件开发,这样更加增加了我对Zeus调度系统改造的兴趣。

首先介绍下Github上的Zeus调度系统[1],Github上的Zeus系统刚刚上线时候很多人关注但是由于长期缺少人维护。由于时隔2年,支持的还是Hadoop1.X,我通读了里面的代码,

Zeus基于GWT开发。Google Web Toolkit的缩写,有了 GWT可以使用 Java 编程语言编写 AJAX 前端,然后 GWT 会交叉编译到优化的JavaScript 中,而 JavaScript 可以自动在所有主要浏览器上运行。GWT允许开发人员使用 Java 编程语言快速构建和维护复杂但性能高的 JavaScript 前端应用程序,从而降低了开发难度,尤其是与 Eclipse Google 插件结合使用时,优势更明显。Zeus通过MySQL存储各项调度任务,使用Dos2Unix转换脚本格式,通过读取(hive,shell以及自定义的变量)环境变量,使用Processbuilder调度。另外,使用CronTrigger定义定时调度。

Zeus能支持主要4种调度:

(1) Hive调度,将页面上的hive脚本转换为sql,然后通过hive -f x.sql执行调度。

(2)Shell调度,将页面上的shell脚本转为x.sh 通过sh x.sh调度。

(3)mapreduce调度,将页面上的jar文件通过hadoop 执行调度。

(4)调度java-jar包

Zeus的工程由以下几部分组成:

354

Zeus3的使用:

对一个软件系统的了解,先是了解如何使用这个系统,有哪些功能,开发的技术是啥,用了哪些套路,就像学骑车一样,先学会骑,然后再考虑如何改进与二次开发。下面再介绍Zeus3的使用场景:

 

Zeus3的安装与部署

 [1]配置目录权限 

mkdir -p /data/zeus/log

sudo -u hdfs hadoop fs -mkdir /zeus

sudo -u hdfs hadoop fs -mkdir /zeus/hdfs-upload-dir

mkdir -p /data/zeus/users/zhoufang/zeus/run_job_dir

mkdir -p /data/zeus/group/tbdataapplication/zhoufang

mkdir -p /data/zeus/users/zhoufang/zeus/logs/

[2]配置文件修改 

2.1 zeus-web.properties //新增加的配置文件

2.2 persistence.xml

2.3 log4j.xml

2.4 broadcast-applicationContext.xml

[3]zeus的table创建文件

zeus3.sql

先创建zeus3数据库

[4]启动 

通过tomcat起来,tomcat的内存请开大,如:12G。

另外,多次启动的时候,有可能需要kill掉之前的tomcat进程。

[5]浏览器 

Zeus只支持firefox,chrome不支持IE

[6]自动发邮件设置 

zeus-web.properties 

#mail

mail.host=smtp.163.com

mail.smtp.auth=false

mail.smtp.timeout=25000

mail.username=xxx@163.com

mail.password=xxx

Zeus3的使用:

通过界面调试Hive脚本:

1

调试Hive的结果界面:

2

[2]调试Shell

调试页面,大体同调试Hive的界面:

34

[3]调度Shell

场景1:shell_task_1.sh 内部调用shell_task_yy.sh

Step1:上传shell_task_yy.sh作为资源

5

Step2:编辑调用

#!/bin/bash

sh ./shell_task_yy.sh

echo ‘shell_task_1’

Step3:执行

6

Step4:执行结果

7

场景2:定时调度任务,每隔1分钟调度一次,不断循环

0 0/1 * * * ?

23

场景3:依赖调度,先调度A再调度B

0 0/1 * * * ?

715

 

16

 

17

场景3:依赖调度,先调度A再调度B

具体配置细节:

(1)A任务调度配置自动一分钟一次:0 0/1 * * * ?

(2)B任务调度要配置依赖A任务,然后选择启动

(3)启动A任务

(4)查看workflow的调度结果

整个workflow由A触发

18

调度Hive

场景1-3:直接调用Hive-SQL,与SHELL类似

19

Zeus3的二次开发与改进之处:

[1] zeus-schedule工程中实现报警邮件发送,通过JavaMailSender实现

Java代码:

public class MailAlarm extends AbstractZeusAlarm{

 

@Resource

private JavaMailSender mailSender;

@Override

public void alarm(List<String> users, String title, String content) throws Exception {

 

try {

MimeMessage mailMessage = mailSender.createMimeMessage();

// 设置utf-8或GBK编码,否则邮件会有乱码

MimeMessageHelper messageHelper = new MimeMessageHelper(mailMessage, true, “utf-8”);

messageHelper.setTo(Global.getConfig(“mail.sendtolist”));    // 邮件接受者

messageHelper.setFrom(Global.getConfig(“mail.username”)); // 邮件发送者

messageHelper.setSubject(title); // 主题

// 邮件内容,注意加参数true,表示启用html格式

String htmlString = content;

messageHelper.setText(htmlString, true);

mailSender.send(mailMessage);

catch (Exception e) {

e.printStackTrace();

}

}

}

XML配置:applicationContext-mail.xml

<?xml version=“1.0” encoding=“UTF-8”?>

<beans xmlns=“http://www.springframework.org/schema/beans”

xmlns:xsi=“http://www.w3.org/2001/XMLSchema-instance” xmlns:aop=“http://www.springframework.org/schema/aop”

xsi:schemaLocation=“http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-2.5.xsd

       http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-2.5.xsd”>

 

<bean id=“mailSender” class=“org.springframework.mail.javamail.JavaMailSenderImpl”>

<property name=“host”>

<value>smtp.163.com</value>

</property>

<property name=“javaMailProperties”>

<props>

<prop key=“mail.smtp.auth”>false</prop>

<prop key=“mail.smtp.timeout”>25000</prop>

</props>

</property>

<property name=“username”>

<value>xxx@163.com</value>

</property>

<property name=“password”>

<value>xxx#</value>

</property>

</bean>

</beans>

 

配置读取修改:DailyConf.java, OnlineConf.java

set(“fs.default.name”,Global.getConfig(“fs.default.name”));

set(“mapred.working.dir”,Global.getConfig(“mapred.working.dir”));

 

通过:Global读取配置参数

Global的读取配置实现:

Global.java

public class Global {

/**

* 保存全局属性值

*/

private static Map<String, String> map = Maps.newHashMap();

/**

* 属性文件加载对象

*/

private static PropertiesLoader propertiesLoader = new PropertiesLoader(“zeus-web.properties”);

/**

* 获取配置

*/

public static String getConfig(String key) {

String value = map.get(key);

if (value == null){

value = propertiesLoader.getProperty(key);

map.put(key, value);

}

return value;

}

}

 

PropertiesLoader.java,装载配置文件

public class PropertiesLoader {

private static Logger logger = LoggerFactory.getLogger(PropertiesLoader.class);

private static ResourceLoader resourceLoader = new DefaultResourceLoader();

private final Properties properties;

public PropertiesLoader(String… resourcesPaths) {

properties = loadProperties(resourcesPaths);

}

 

public Properties getProperties() {

return properties;

}

 

/**

* 取出Property,但以System的Property优先,取不到返回空字符串.

*/

private String getValue(String key) {

String systemProperty = System.getProperty(key);

if (systemProperty != null) {

return systemProperty;

}

if (properties.containsKey(key)) {

return properties.getProperty(key);

}

return “”;

}

 

/**

* 取出String类型的Property,但以System的Property优先,如果都为Null则抛出异常.

*/

public String getProperty(String key) {

String value = getValue(key);

if (value == null) {

throw new NoSuchElementException();

}

return value;

}

 

/**

* 取出String类型的Property,但以System的Property优先.如果都为Null则返回Default值.

*/

public String getProperty(String key, String defaultValue) {

String value = getValue(key);

return value != null ? value : defaultValue;

}

 

/**

* 取出Integer类型的Property,但以System的Property优先.如果都为Null或内容错误则抛出异常.

*/

public Integer getInteger(String key) {

String value = getValue(key);

if (value == null) {

throw new NoSuchElementException();

}

return Integer.valueOf(value);

}

 

/**

* 取出Integer类型的Property,但以System的Property优先.如果都为Null则返回Default值,如果内容错误则抛出异常

*/

public Integer getInteger(String key, Integer defaultValue) {

String value = getValue(key);

return value != null ? Integer.valueOf(value) : defaultValue;

}

 

/**

* 取出Double类型的Property,但以System的Property优先.如果都为Null或内容错误则抛出异常.

*/

public Double getDouble(String key) {

String value = getValue(key);

if (value == null) {

throw new NoSuchElementException();

}

return Double.valueOf(value);

}

 

/**

* 取出Double类型的Property,但以System的Property优先.如果都为Null则返回Default值,如果内容错误则抛出异常

*/

public Double getDouble(String key, Integer defaultValue) {

String value = getValue(key);

return value != null ? Double.valueOf(value) : defaultValue;

}

 

/**

* 取出Boolean类型的Property,但以System的Property优先.如果都为Null抛出异常,如果内容不是true/false则返回false.

*/

public Boolean getBoolean(String key) {

String value = getValue(key);

if (value == null) {

throw new NoSuchElementException();

}

return Boolean.valueOf(value);

}

 

/**

* 取出Boolean类型的Property,但以System的Property优先.如果都为Null则返回Default值,如果内容不为true/false则返回false.

*/

public Boolean getBoolean(String key, boolean defaultValue) {

String value = getValue(key);

return value != null ? Boolean.valueOf(value) : defaultValue;

}

 

/**

* 载入多个文件, 文件路径使用Spring Resource格式.

*/

private Properties loadProperties(String… resourcesPaths) {

Properties props = new Properties();

 

for (String location : resourcesPaths) {

 

InputStream is = null;

try {

Resource resource = resourceLoader.getResource(location);

is = resource.getInputStream();

props.load(is);

catch (IOException ex) {

logger.info(“Could not load properties from path:” + location + “, ” + ex.getMessage());

finally {

IOUtils.closeQuietly(is);

}

}

return props;

}

}

 

这样,配置就能采用key-value的形式自由定义在:zeus-web.properties中:

————-zeus-web.properties文件内容—————–

fs.default.name=hdfs://hmaster1:8020

mapred.working.dir=/group/tbdataapplication/zhoufang

mapred.job.tracker=hmaster1:8021

supers=andy.cai

email=xxx@qq.com

name=\u8521\u7545\u5947

phone=xxx

uid=andy.cai

mail.host=smtp.163.com

mail.smtp.auth=false

mail.smtp.timeout=25000

mail.sendtolist=xxx@163.com

mail.title=Zeus_Warning_Email

mail.username=xxx@163.com

mail.password=xxx#

 

实际上这个项目可以配合Diamond[2],dubbo[3],flash-dog[3]来实现,由于考虑到部署的复杂度,所以还是精简下,配置文件这块采用Global读取配置参数的形式,日志管理暂时去掉,服务调用采用GWT-RPC调用。

 

另外,ProcessJob.java, ConfUtil.java里面读取hive,hadoop等的配置文件,现在采用CDH版本的路径,后续可以改为通过配置文件读取,之前设计的是直接读取系统环境变量发现实际部署的时候有诸多不便。

 

以上Zeus3的工程代码下载

https://github.com/caichangqi/zeus3

 

文中引用:

[1]Zeus调度系统

https://github.com/alibaba/zeus

[2]diamond集中式配置管理系统

http://code.taobao.org/p/diamond/src/

[3]dubbo RPC-SOA框架

http://alibaba.github.io/dubbo-doc-static/Home-zh.htm

[4]flash-dog 日志收集系统

https://github.com/flash-dog/flash-dog

本文转载自:http://dataunion.org/3194.html

共有 人打赏支持
aibati2008
粉丝 13
博文 86
码字总数 61386
作品 0
成都
技术主管
私信 提问
【开源访谈】Zeus 作者 徐恒飞 访谈实录

【关于开源访谈】 开源访谈是开源中国推出的一系列针对国内优秀开源软件作者的访谈,以文字的方式记录并传播。我们希望开源访谈能全面的展现国内开源软件、开源软件作者的现状,着实推动国内...

丫头潘潘
2014/01/14
8.6K
18
淘宝Hadoop作业平台--宙斯Zeus

宙斯(zeus)是什么 宙斯是一个完整的Hadoop的作业平台 从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期 从功能上来说,支持: Hadoop MapReduce任务的调试运行 Hive...

xuhengfei
2013/05/03
73K
27
Hadoop平台调度系统

1.概述   在Hadoop应用,随着业务指标的迭代,而使其日趋复杂化的时候,管理Hadoop的相关应用会变成一件头疼的事情,如:作业的依赖调度,任务的运行情况的监控,异常问题的排查等,这些问...

jackwxh
2017/03/03
0
0
2013年度最新的20大热门开源软件盘点

  【IT168 评论】2013 年结束了,我们根据过去一年的用户访问、交流分享和项目本身的更新频度等诸多角度对收录于开源中国的近三万款开源软件进行统计,从而得出前 XX 名最受欢迎的开源软件...

开源中国社区
2014/01/06
0
0
阿里巴巴开源技术汇总:115个软件(一)

服务框架 Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成 JDBC连接池、监控组件 Druid Drui...

evil_01
2016/06/08
242
0

没有更多内容

加载失败,请刷新页面

加载更多

linux shell使用代理

export http_proxy=http://proxyAddress:port export http_proxy=http://proxyAddress:port

萌萌哒的小萝卜
9分钟前
1
0
Krpano 插入视频/音频

视频 <hotspot name="videospot" url="%SWFPATH%/plugins/videoplayer.swf" alturl="%SWFPATH%/plugins/videoplayer.js" videourl="%SWFPATH%/image/video.flv|%SWFPATH%/......

华山猛男
12分钟前
1
0
el-select使用方法及遇到数据回显的坑

<el-select v-model="temp.lang" class="filter-item" placeholder="Please select"> <el-option v-for="item in langs" :key="item.value" :label="item.label" :value="item.value"/> </el......

BraveLN
14分钟前
1
0
百度贴吧自动签到

实现百度贴吧自动签到功能 1.编写签到Python脚本 2.服务器配置定时任务执行签到脚本

MrPei
19分钟前
1
0
windows nginx

之前一直是在linux上使用nginx,今天百度了一下,发现原来nginx在windows也有软件。 最近在研究jeecg-boot,现在越来越多的框架开始采用前后分离的模式了,看来也是时候跟进了。 nginx: dow...

miaojiangmin
24分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部