文档章节

Tornado Celery Redis实现异步

苏格兰雨季
 苏格兰雨季
发布于 2014/11/19 18:04
字数 242
阅读 520
收藏 0

Celery中两个基本的概念:Broker、Backend

    Broker :其实就是一开始说的 消息队列 ,用来发送和接受消息。

    Broker有几个方案可供选择:RabbitMQ,Redis,数据库等

    Backend : 作用是保存结果和状态,可以是Database backend,也可以是Cache backend

    Backend有几个方案可供选择:http://docs.celeryproject.org/en/latest/configuration.html#celery-result-backend

安装:

pip install celery
pip install tornado-redis
yum install redis

示例:

  tasks.py

from time import sleep
from celery import Celery

backend = 'redis://127.0.0.1:6379/0'
broker = 'redis://127.0.0.1:6379/1'

app = Celery('tasks', backend=backend, broker=broker)

@app.task
def add(x, y):
	 sleep(10)
	 return x + y

运行服务:

celery -A tasks worker --loglevel=info

测试:

>>> from tasks import add
>>> r = add.delay(4, 4)
>>> r.ready() # 10s内执行,会输出False,因为add中sleep了10s,10s之后返回True
>>>False
>>> r.status #任务状态
'PENDING'
>>> r.result  # 输出你的hostname
>>>8
>>> r.status
'SUCCESS'

Tronado:

from concurrent.futures import ThreadPoolExecutor

class SleepHandler(tornado.web.RequestHandler):
    executor = ThreadPoolExecutor(2)
    @tornado.web.asynchronous
    @tornado.gen.coroutine
    def get(self):
        res = yield self.sleep(10,10)
        self.finish()

    @run_on_executor
    def sleep(x,y):
        time.sleep(5)
        return x+y


© 著作权归作者所有

共有 人打赏支持
苏格兰雨季
粉丝 1
博文 15
码字总数 2054
作品 0
东城
运维
私信 提问
tornado的异步库汇总- redis,mongo,celery,sockjs等

brukva -- redis异步库 https://github.com/kmerenkov/brukva toredis -- redis异步库 https://github.com/mrjoes/toredis/ tornado-redis -- redis异步库 https://github.com/leporo/tornad......

flyking
2014/02/26
0
0
分布式异步队列系统--thorns

thorns 是一个 Python 开发的分布式异步队列系统。 运行流程 启动redis内存服务器,作为队列存储数据库使用 配置芹菜(celery)运行环境,并连接redis队列内存,读取执行任务,并返回结果存储到...

匿名
2017/03/12
133
0
tornado 异步搭配的几个工具

https://github.com/leporo/tornado-redishttps://github.com/leporo/tornado-redis https://github.com/mher/tornado-celeryhttps://github.com/mher/tornado-celery http://www.tuicool.co......

MtrS
2015/06/05
0
0
tornado线程阻塞的解决

前言 也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了. 比如最近发现一个事情:某网站打开页面很慢,服务器cpu/内存都正常.网络状态也...

单蛙
2016/06/17
272
0
使用tornado让你的请求异步非阻塞

前言 也许有同学很迷惑:tornado不是标榜异步非阻塞解决10K问题的嘛?但是我却发现不是torando不好,而是你用错了.比如最近发现一个事情:某网站打开页面很慢,服务器cpu/内存都正常.网络状态也良...

jack_cheng
2014/02/26
0
1

没有更多内容

加载失败,请刷新页面

加载更多

让天下没有难用的搜索:阿里搜索如何成长为贴心“暖男”?

摘要: 阿里搜索技术体系演进至今天,基本形成了由offline、nearline、online三层体系,分工协作,保证电商平台上,既能适应日常平稳流量下稳定有效的个性化搜索及推荐,也能够去满足电商平台...

阿里云官方博客
16分钟前
3
0
(一)spring cloud互联网分布式微服务云平台规划分析--spring cloud平台整体规划

1. 导语 近期公司孵化了一个互联网产品,随着业务发展,产品运营后用户数据量(过亿)、业务数据量(过100亿)较大,技术团队配合产品、运营快速定制化开发, 还要考虑产品涉及的资金安全、消...

明理萝
17分钟前
0
1
linux 下对于jvm的监测

在看阿里巴巴开源项目的时候,发现了alibaba/arthas ,之前出现会员卡的时候,需要只能去看日志。但是日志又不能有效的知道当时的问题情况。一种方法就是去监测出现问题的情况下,去查看jvm...

miaojiangmin
25分钟前
0
0
大数据就业前景分析的太到位了,想学习大数据的可以看看

大数据广泛应用于电网运行、经营管理及优质服务等各大领域,并正在改变着各行各业,也引领了大数据人才的变革。大数据专业就业前景怎么样?这对于在就业迷途中的我们是一个很重要的信息。 随...

董黎明
58分钟前
3
0
如何利用Photoshop进行快速切图

在UI设计中我们常常使用Ai来进行矢量图的绘制,然后导入Ps中进行设计、排版和导出。 在以前的版本中,切图一直是个很麻烦的事情,要么依托于脚本,要么手动一张张导出,很不方便,这种窘况在...

mo311
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部