文档章节

python-celery使用教程

go-skyblue
 go-skyblue
发布于 2015/07/23 15:14
字数 687
阅读 721
收藏 2

Celery

Celery是Python开发的分布式任务调度模块。分为任务分发,任务队列,worker3个部分。celery的出现,解决了python运行后台任务的需求。

这篇文章介绍的celery版本是3.1.18

celery架构

                                                                +------------------+
                                                       +------> | celery worker.1  |
+-----------------+       +-----------------------+    |        +------------------+
|   web service   +-----> | job queue(redis or ..)+----+                            
+-----------------+       +-----------------------+    |        +------------------+
                                                       +------> | celery worker.2  |
                                                       |        +------------------+
                                                       |                            
                                                       |        +------------------+
                                                       +------> | celery worker.[n]|
                                                                +------------------+

任务队列,支持如redis,RabbitMQ甚至数据库。通常redis是最好的选择,不过数据库在本地使用的时候,也是不错的。

安装celery

使用douban的pypi镜像,安装会快一点。

pip install -i http://pypi.douban.com/simple celery

普通使用

使用Redis作为Broker时,再安装一个celery-with-redis

开始编写tasks.py:

import time
from celery import Celery

celery = Celery('tasks', broker='redis://localhost:6379/0')

@celery.task
def sendmail(mail):
    print('sending mail to %s...' % mail['to'])
    time.sleep(2.0)
    print('mail sent.')

if __name__ == '__main__':
    sendmail.delay(dict(to='myemail@gogs.io'))

启动worker

celery -A tasks worker

运行任务

python tasks.py

这里普通的调用方式是sendmail(...) 如果改成后台运行就变成了sendmail.delay(...)

Celery默认设置就能满足基本要求。Worker以Pool模式启动,默认大小为CPU核心数量,缺省序列化机制是pickle,但可以指定为json。由于Python调用UNIX/Linux程序实在太容易,所以,用Celery作为异步任务框架非常合适。

flask中使用celery

web中使用celery是常有的事情。heroku官方就推荐python程序使用celery。 代码,我放到github上一份https://github.com/codeskyblue/celery-examples

首先创建一个web.py文件

from flask import Flask
from celery import Celery


def make_celery(app):
    celery = Celery(app.import_name, broker=app.config['CELERY_BROKER_URL'])
    celery.conf.update(app.config)
    TaskBase = celery.Task
    class ContextTask(TaskBase):
        abstract = True
        def __call__(self, *args, **kwargs):
            with app.app_context():
                return TaskBase.__call__(self, *args, **kwargs)
    celery.Task = ContextTask
    return celery

app = Flask(__name__)
app.config.update(
    CELERY_BROKER_URL='redis://localhost:6379',
    CELERY_RESULT_BACKEND='redis://localhost:6379'
)
celery = make_celery(app)

编写任务函数

@celery.task()
def add_together(a, b):
    res = a + b
    print res
    return res

然后是一个主页, 请求主页的时候,就会自动调用add_together这个函数,交给celery运行

@app.route('/')
def homepage():
    a = random.randint(0, 10)
    b = random.randint(0, 10)
    add_together.delay(a, b)
    return 'Create new task {} + {}'.format(a, b)

然后还需要编写一个run.py文件(这里需要分开两个文件)

from web import app

if __name__ == '__main__':
    app.run()

启动web应用python web.py,启动worker的方法celery -A web.celery worker

如果需要用sqlite作为后端的话,也是可以的,首先需要安装pip install sqlalchemy

flask的app配置稍微改下

app.config.update(
    CELERY_BROKER_URL='sqla+sqlite:///queue.db',
    CELERY_RESULT_BACKEND='db+sqlite:///queue.db',
    CELERY_ACCEPT_CONTENT = ['pickle', 'json', 'msgpack', 'yaml']
)

然后,celery就会用本地的queue.db文件,作为队列了。

Refs

© 著作权归作者所有

共有 人打赏支持
go-skyblue

go-skyblue

粉丝 75
博文 50
码字总数 31881
作品 5
杭州
程序员
基于Celery的并行处理工程-OpenWorker快速安装

Celery 是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。 OpenWorker是基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和R...

openthings
2015/08/10
0
4
基于Celery的并行处理工程-OpenWorker

OpenWorker-初始建立(2015-05-29),欢迎参与:https://github.com/supergis/OpenWorker。 OpenWorker-基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过...

openthings
2015/05/29
0
1
python任务调度模块celery

python任务调度模块celery celery简介 Celery是一个python开发的异步分布式任务调度模块。 Celery本身并不提供消息服务,使用第三方服务,也就是borker来传递任务,一般使用rabbitMQ或者Red...

laoba
05/28
0
0
Python celery简介

Celery异步分布式 什么是celery? 他是一个python开发的异步分布式任务调度模块 celery本身不提供消息服务,使用第三方服务,也就是broker来传递任务,目前支持rabbitmq,redis,数据库等等。...

lemonwater
今天
0
0
Celery的一些社区资源-English

Community Links Tweet Celery Best Practices Author: Deni Bertovic | Content type: Article Understanding the new messaging frameworks with virtual backends [Kombu] Author: Superc......

openthings
2015/05/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

vue+element-ui操作删除(单行和批量删除)

页面展示: <template><!-- 表格内容 --><el-table :data="packData" border style="width: 100%" ref="multipleTable" @selection-change="handleSelectionChange"><el-tab......

琴妹
16分钟前
0
0
基于vue(element ui) + ssm + shiro 的权限框架

zhcc 基于vue(element ui) + ssm + shiro 的权限框架 引言 心声 现在的Java世界,各种资源很丰富,不得不说,从分布式,服务化,orm,再到前端控制,权限等等玲琅满目,网上有句话说,语言框架...

DarrenHu_吴邪
23分钟前
2
1
数据库水平切分(MyCat分片)

范围分片 io.mycat.route.function.AutoPartitionByLong 自动范围分片 Function名称:rang-long(配置文件默认) 枚举分片 io.mycat.route.function.PartitionByFileMap 枚举分片 Funtion名称...

这很耳东先生
24分钟前
0
0
读《HeadFirst设计模式》笔记之外观模式

外观模式:提供了一个统一的接口,用来访问子系统中的一群接口。外观定义了一个高层接口,让子系统更容易使用。 举个栗子: 建了一个家庭影院,但是每次享受家庭影院时,你发现需要执行 将灯...

suyain
25分钟前
0
0
MongoDB分片配置

简单注解: mongos 路由进程, 应用程序接入mongos再查询到具体分片,监听端口默认27017 config server 路由表服务, 每一台都具有全部chunk的路由信息 shard为数据存储分片, 每一片都可以是...

LUIS1983
33分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部