python任务调度模块celery

原创
2018/05/28 10:06
阅读数 3.4K

python任务调度模块celery

celery简介

Celery是一个python开发的异步分布式任务调度模块。
Celery本身并不提供消息服务,使用第三方服务,也就是borker来传递任务,一般使用rabbitMQ或者Redis。

  • Celery特点
    简单:一单熟悉了celery的工作流程后,配置和使用还是比较简单的。
    高可用:当任务执行失败或执行过程中发生连接中断,celery 会自动尝试重新执行任务。
    快速:一个单进程的celery每分钟可处理上百万个任务。
    灵活: 几乎celery的各个组件都可以被扩展及自定制。
  • Celery工作流程图
    python-Celerypython-Celery

    celery安装使用

    安装Celery模块
    1
    pip install celery

Celery的默认broker是RabbitMQ,仅需配置一行

1
broker_url = 'amqp://guest:guest@localhost:5672//'

 

RabbitMQ的安装点击Using RabbitMQ查看。
redis作为broker也可以。

  • 安装

    1
    pip install redis
  • 配置
    broker_url配置redis数据库地址,格式为redis://:password@hostname:port/db_number
    backend配置任务结果存储位置,将保存每个任务的执行结果。

    1
    2
    app.conf.broker_url = 'redis://localhost:6379/0'
    app.conf.result_backend = 'redis://localhost:6379/0'

port和db_number是可选项,默认情况下端口使用6379,db_number使用0。

  • 示例
    创建一个celery application定义任务列表,新建一个celery1.py文件
    1
    2
    3
    4
    5
    6
    7
    8
    from celery import Celery
    broker = "redis://118.24.18.158:6379/5"
    backend = "redis://118.24.18.158:6379/6"
    app = Celery("celery1", broker=broker, backend=backend)
    
    @app.task
    def add(x, y):
        return x+y

启动Celery Worker开始监听并执行任务

1
celery -A celery1 worker --loglevel=info

 

调用任务

1
2
3
4
5
6
7
8
9
import time
from celery1 import add

re = add.delay(10, 20)
print(re)
print(re.status)
time.sleep(8)
print(re.status)
print(re.result)
展开阅读全文
打赏
0
6 收藏
分享
加载中
更多评论
打赏
0 评论
6 收藏
0
分享
返回顶部
顶部