Apache 基金会宣布 Apache Airflow 毕业成为顶级项目

Apache 软件基金会宣布,Apache Airflow 已经成功地从孵化毕业,成为基金会的一个新的顶级项目。 Apache Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流...

王练
01/09
4K
4
Airflow 中文文档:常见问题

为什么我的任务没有安排好? 您的任务可能无法安排的原因有很多。 以下是一些常见原因: 您的脚本是否“编译”,Airflow引擎是否可以解析它并找到您的DAG对象。 要对此进行测试,您可以运行并...

ApacheCN_飞龙
2018/11/29
0
0
Airflow 中文文档:使用Mesos扩展(社区贡献)

有两种方法可以将气流作为mesos框架运行: 直接在mesos从站上运行气流任务,要求每个mesos从站安装和配置气流。 在安装了气流的docker容器内运行气流任务,该容器在mesos slave上运行。 任务...

ApacheCN_飞龙
2018/11/29
0
0
Airflow 中文文档:调度和触发器

Airflow调度程序监视所有任务和所有DAG,并触发已满足其依赖关系的任务实例。 在幕后,它监视并与其可能包含的所有DAG对象的文件夹保持同步,并定期(每分钟左右)检查活动任务以查看是否可以...

ApacheCN_飞龙
2018/11/29
0
0
基于DAG的分布式任务调度平台-Maat

背景 什么是Maat Maat是一个基于开源项目Airflow的流程调度系统,它支持用户自定义地组装流程节点,流程可以在用户指定的时间触发(支持crontab格式),或由用户手动触发。 Maat的所有节点分...

斯兰
2018/07/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多