文档章节

airflow单机版搭建记录——不使用mysql,redis

helplove
 helplove
发布于 07/03 20:34
字数 261
阅读 77
收藏 0

[toc]

airflow单机版搭建记录

环境准备

Python(pip)——airflow由python编写

安装airflow

pip install apache-airflow

环境变量配置

本人是在root用户下执行,可自行选择

export AIRFLOW_HOME=~/airflow

执行airflow命令

airflow

为了在AIRFLOW_HOME下生成配置文件airflow.cfg

修改配置文件

default_timezone = Asia/Shanghai

load_examples = False

base_url = http://etl1:9999

web_server_port = 9999

初始化数据库

airflow initdb

修改时区

https://blog.csdn.net/crazy__hope/article/details/83688986

启动

airflow webserver -p 9999 -D

airflow scheduler -D

附加程序

第三方开发的简陋的dag模板配置程序

环境

需要额外安装python3 https://www.cnblogs.com/Hunry/p/9350607.html

java环境

pyt

博客

Airflow 使用随笔(内含 TimeZone 和 Backfill 等的详解)https://www.cnblogs.com/piperck/p/10101423.html

如何部署一个健壮的 apache-airflow 调度系统 https://blog.csdn.net/somezz/article/details/82749495

© 著作权归作者所有

helplove

helplove

粉丝 3
博文 17
码字总数 6937
作品 0
福州
私信 提问
airflow使用mysql数据库,LocalExecutor并发调度

mysql-airflow 在mysql上执行 create database airflow; —— 创建数据库 GRANT all privileges on airflow.* TO 'airflow'@'%' IDENTIFIED BY '123456'; —— 将数据库airflow的所有权限授权......

helplove
07/03
220
0
基于Kubernetes的瓜子云的任务调度系统

很大的挑战。 接下来我讲详细介绍一下瓜子云的任务调度系统搭建所遇到的问题和解决方案。 需求 瓜子最早的时候,任务调度用的是Crontab,后来由于数据仓库的复杂调度需求,我们引入了Airflow...

店家小二
2018/12/14
0
0
使用Airflow来调度Data Lake Analytics的任务

今天我们来介绍一下使用Airflow来调度 Data Lake Analytics(后面简称DLA)的任务执行。DLA作为一个数据湖的解决方案, 客户有每天周期性的调度一些任务从DLA查询数据回流到业务系统的需求。因...

迷你芊宝宝
03/22
74
0
Apache 基金会宣布 Apache Airflow 毕业成为顶级项目

Apache 软件基金会宣布,Apache Airflow 已经成功地从孵化毕业,成为基金会的一个新的顶级项目。 Apache Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流...

王练
01/09
3.9K
4
数据管道监控工具 - Apache Airflow

Airflow 被 Airbnb 内部用来创建、监控和调整数据管道。任何工作流都可以在这个使用 Python 编写的平台上运行(目前加入 Apache 基金会孵化器)。 Airflow 允许工作流开发人员轻松创建、维护...

匿名
2015/06/18
7.8K
2

没有更多内容

加载失败,请刷新页面

加载更多

html2canvas 生成的图片变模糊解决方案

需求: 背景图片和二维码还有用户微信头像生成一张图片,可供用户下载。打开页面的时候就是一张图可以保存,html2canvas插件即可实现效果,效果是实现了,但是很郁闷,图片模糊了。。。。 为...

前端老手
11分钟前
3
0
语音翻译器在线翻译语音

对于英语不好的朋友来说,如果出国旅游,多多少少都会使用到翻译软件。通过在线翻译的方式,方便彼此的沟通交流。那么,有朋友就在问哪个英语翻译软件最准确?下面就来和大家一起分享下这个简...

401恶户
12分钟前
2
0
国内25家滤波器公司排名

国内做滤波器的企业都有哪些?哪些企业做滤波器是比较知名的?国内滤波器企业排名如何?以下是解优人才网小编给大家的分享,国内前25家做滤波器的企业详细信息。 1、武汉凡谷电子技术股份有限...

猎头悬赏平台
17分钟前
4
0
即时配送,不再只是巨头的战场

9月4日,第十届中国电子商务物流大会暨2019中国同城即时物流行业峰会于杭州召开。会上出现了蜂鸟即配、达达-京东到家、美团配送、点我达、闪送等一众即时配送行业中的知名企业的身影。 在艾媒...

喵二狸
17分钟前
3
0
Moto G 2014 LTE Root

[TOC] 下载moto专用mfastboot mfastboot-v2.zip 下载对应设备的twrp 我的是这个版本 Moto G 2014 LTE thea 刷入twrp # 1. 开启USE调试# 2. 允许OEM解锁# 3. 查看设备adb devices# 4. 进f...

yeahlife
21分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部