文档章节

基于Celery的并行处理工程-OpenWorker

openthings
 openthings
发布于 2015/05/29 09:16
字数 416
阅读 458
收藏 5

OpenWorker-初始建立(2015-05-29),欢迎参与:https://github.com/supergis/OpenWorker
OpenWorker-基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。

Celery是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。OpenWorker将这几个工程放到一起,并增加了统一的安装脚本,让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用,而不是替代原来的工程。由于这几个项目还在快速发展,因此也编写合并和更新的脚本,实现与原作者的代码库保持一致。

1、并行处理框架:
Celery:http://www.celeryproject.org/
执行任务的分发和调度,使用消息总线进行通讯。
关于Celery的入门教程及参考:http://my.oschina.net/u/2306127/blog?catalog=2527511

2、Web管理控制台:
Flower:https://github.com/mher/flower
在远程通过Web界面监视和管理任务执行情况。

3、任务进度通知:
Jobtastic:http://policystat.github.io/jobtastic/
为长时间运行的任务提供进度通知的Celery扩展库。

4、Web上Python控制台:
Rodeo:https://github.com/yhat/rodeo
可以在Web浏览器编写和执行Python代码,支持交互控制台,非常适合于探索式编程和数据研究。




© 著作权归作者所有

openthings
粉丝 325
博文 1140
码字总数 689435
作品 1
东城
架构师
私信 提问
加载中

评论(1)

g
geowangsh
OpenWorker,值得拥有!
基于Celery的并行处理工程-OpenWorker快速安装

Celery 是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。 OpenWorker是基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和R...

openthings
2015/08/10
623
4
基于Django1.10与Celery4实现异步队列任务

由于django-celery这个模块我在django1.10的版本内运行不起来,只能使用野生的Celery,Celery4支持django1.8以上的版本,1.8以下的版本请使用Celery3,整个配置过程并不复杂: 整个目录结构:...

lihuipeng
2017/01/20
0
0
Python Celery初研究

最近,换了一个工作环境去做研究,当然啦,新公司新作风,需要研究python并行分布式框架:Celery,不用多说,干呗。 然后就抽空看了一下,果然接口简单,开发容易,5分钟就写出了一个异步发送...

kumikoda
2017/04/03
0
0
并行处理框架Celery的Web监控管理服务-Flower

Flower: Real-time Celery web-monitor Flower是Celery的一个实时监控和管理Web界面工具,目前仍在活跃的开发之中,但已经是一个很重要的可用工具了。这是推荐使用的Celery监控工具,原来的基...

openthings
2015/05/28
11.9K
0
celery学习笔记

生产者消费者模式 在实际的软件开发过程中,经常会碰到如下场景:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以是类、函数、线程、进程等)。产生数据的...

_周小董
2018/01/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
1
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
10
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
13
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
6
0
Django的ChoiceField和MultipleChoiceField错误提示,选择一个有效的选项

在表单验证时提示错误:选择一个有效的选项 例如有这样一个表单: class ProductForm(Form): category = fields.MultipleChoiceField( widget=widgets.SelectMultiple(), ...

编程老陆
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部