文档章节

基于Celery的并行处理工程-OpenWorker快速安装

openthings
 openthings
发布于 2015/08/10 16:12
字数 702
阅读 625
收藏 4

Celery 是一个简单灵活的Python并行处理框架,但是相关的几个工程需要独自安装和配置,给小白的使用带来困难。

OpenWorker是基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。

OpenWorker将这几个工程放到一起, 并增加了统一的安装脚本,让部署和安装、运行都更加方便。OpenWorker仅仅集成这些资源让数据研究者更易于使用,而不是替代原来的工程。由于这几个项目还在快速发展,因此也编写合并和更新的脚本,实现与原作者的代码库保持一致。

1、并行处理框架:Celery,http://www.celeryproject.org/
执行任务的分发和调度,使用消息总线进行通讯。
关于Celery的入门教程及参考:http://my.oschina.net/u/2306127/blog/420833

2、Web管理控制台:Flower,https://github.com/mher/flower
在远程通过Web界面监视和管理任务执行情况。

3、任务进度通知:Jobtastic,http://policystat.github.io/jobtastic/
为长时间运行的任务提供进度通知的Celery扩展库。

4、Web上Python控制台:
Rodeo:https://github.com/yhat/rodeo
可以在Web浏览器编写和执行Python代码,支持交互控制台,非常适合于探索式编程和数据研究。

5、Orange交互式流程设计和数据分析工具。

Orange是一个基于组件的数据挖掘和机器学习软件套装,支持Python进行脚本开发。更多资料参见http://my.oschina.net/u/2306127/blog/548833

快速安装脚本(这里全部使用Python3):

mkdir ./openworker

echo "============================================="
echo "install rodeo,remote web based python console..."
git clone  
cd rodeo
sudo python3 setup.py install
cd ..
echo "usage:"
echo "  rodeo ."

echo "============================================="
echo "install celery, parallel python exec-engine ..."
#celery
sudo pip3 install celery
echo "Usage:"
echo " celery -A tasks worker --loglevel=info"

echo "============================================="
echo "install flower ...
sudo pip3 install flower
echo "If want latest version,install use:"
echo "sudo pip install https://github.com/mher/flower/zipball/master"
echo "Or get source code:"
echo "git clone https://github.com/mher/flower.git"
echo "Usage:"
echo "1: flower --port=5555"
echo "2: celery flower -A proj --address=127.0.0.1 --port=5555"
echo "3: celery flower -A proj --broker=amqp://guest:guest@localhost:5672//"

echo "============================================="
echo "install jobtastic-Job status feedback tool..."
sudo pip3 install jobtastic
echo "If you want latest version,install the source."
echo "git clone  
echo "cd jobtastic && sudo python3 setup.py install && cd .."

echo ""
echo "===OpenWorker Dependence Installed.======="

    启动rodeo服务后,可以远程运行python脚本,再去启动Celery相关的python脚本,执行并行计算服务的操作。

  OpenWorker,欢迎参与:https://github.com/supergis/OpenWorker

 

 

 

 

 

 

 

© 著作权归作者所有

openthings
粉丝 325
博文 1140
码字总数 689435
作品 1
东城
架构师
私信 提问
加载中

评论(4)

zhangjianpinghk
zhangjianpinghk
OpenWorker安装了后怎么使用呀?博主能简单写一个示例不?
openthings
openthings 博主
如果出现报错,进/usr/local/lib/python3.4/dist-pakages,把amqp和komb的老版本删除,一般就可以解决。因为celery程序没有区分python2/python3,容易引起版本冲突,如还有问题,考虑将/usr/local/lib/python3.4/dist-pakages下相关的库全部删除。
openthings
openthings 博主
建议不要用源码安装,目前版本使用py-amqp2.0,其他模块存在不兼容和不稳定现象。
openthings
openthings 博主
增加了快速安装脚本。
基于Celery的并行处理工程-OpenWorker

OpenWorker-初始建立(2015-05-29),欢迎参与:https://github.com/supergis/OpenWorker。 OpenWorker-基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过...

openthings
2015/05/29
458
1
并行处理框架Celery的Web监控管理服务-Flower

Flower: Real-time Celery web-monitor Flower是Celery的一个实时监控和管理Web界面工具,目前仍在活跃的开发之中,但已经是一个很重要的可用工具了。这是推荐使用的Celery监控工具,原来的基...

openthings
2015/05/28
11.9K
0
Python 并行分布式框架:Celery

Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。 一、架构设计 Celery的架构由三部分组成,消息中间件(message bro...

openthings
2015/05/20
14.4K
0
分布式任务队列Celery快速上手

Celery介绍 celery(芹菜)是一个异步任务队列/基于分布式消息传递的作业队列。 它侧重于实时操作,但对调度支持也很好。 celery用于生产系统每天处理数以百万计的任务。 celery是用Python编写...

张旭0512
2014/03/25
8.1K
0
基于Django1.10与Celery4实现异步队列任务

由于django-celery这个模块我在django1.10的版本内运行不起来,只能使用野生的Celery,Celery4支持django1.8以上的版本,1.8以下的版本请使用Celery3,整个配置过程并不复杂: 整个目录结构:...

lihuipeng
2017/01/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

3_数组

3_数组

行者终成事
40分钟前
7
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0
使用logstash同步MySQL数据到ES

概述   在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。   在使用logstas...

zxiaofan666
今天
10
0
X-MSG-IM-分布式信令跟踪能力

经过一周多的鏖战, X-MSG-IM的分布式信令跟踪能力已基本具备, 特点是: 实时. 只有要RX/TX就会实时产生信令跟踪事件, 先入kafka, 再入influxdb待查. 同时提供实时sub/pub接口. 完备. 可以完整...

dev5
今天
7
0
OpenJDK之CyclicBarrier

OpenJDK8,本人看的是openJDK。以前就看过,只是经常忘记,所以记录下 图1 CyclicBarrier是Doug Lea在JDK1.5中引入的,作用就不详细描述了,主要有如下俩个方法使用: await()方法,如果当前线...

克虏伯
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部