AirFlow/NiFi/MLFlow/KubeFlow进展

大数据分析中,进行流程化的批处理是必不可少的。传统的大数据处理大部分是基于关系数据库系统,难以实现大规模扩展;主流的基于Hadoop/Spark体系总体性能较强,但使用复杂、扩展能力弱。大数...

openthings
06/21
340
0
Apache 基金会宣布 Apache Airflow 毕业成为顶级项目

Apache 软件基金会宣布,Apache Airflow 已经成功地从孵化毕业,成为基金会的一个新的顶级项目。 Apache Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流...

王练
01/09
3.9K
4
Airflow 中文文档:概念

Airflow Platform是用于描述,执行和监控工作流的工具。 核心理念 DAG的 在Airflow中, (或定向非循环图)是您要运行的所有任务的集合,以反映其关系和依赖关系的方式进行组织。 例如,一个...

ApacheCN_飞龙
2018/11/29
0
0
Azkaban、Xxl-Job与Airflow对比分析

概述 Xxl-Job 简述 XXL-JOB是一个国内轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。基于Java技术栈,调度中心与执行器通信基于作者另一个开源项目xxl-r...

centychen
04/30
838
0
Airflow 中文文档:时区

默认情况下启用对时区的支持。 Airflow在内部和数据库中以UTC格式存储日期时间信息。 它允许您使用时区相关的计划运行DAG。 目前,Airflow不会将其转换为用户界面中的最终用户时区。 它始终以...

ApacheCN_飞龙
2018/11/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多