打造基于Python的流式数据分析平台

原创
2015/05/21 15:23
阅读数 6.4K

    基于Python已经有多个科学研究和数据分析库,使用非常方便。结合OpenStack(http://www.openstack.org)、RabbitMQ(http://www.rabbitmq.com)、Celery(http://www.celeryproject.org)可以打造一个实时数据的分析平台。

    OpenStack是基于Python开发的云计算平台,可以进行虚拟机的调度和管理,以及数据的虚拟化存储。RabbitMQ是一个消息总线服务器,支持通过消息的数据快速收发和任务数据的调度、分派,Celery实现并行的Worker数据分析模型。三个软件模块的结合可以完成虚拟机管理、任务管理、实时数据收发的相关任务,并使用numPy等科学计算库执行数据分析。

    如下图所示:

    感觉上,功能满强的哦!以后有时间了,再来慢慢研究。

展开阅读全文
加载中
点击加入讨论🔥(3) 发布并加入讨论🔥
打赏
3 评论
10 收藏
0
分享
返回顶部
顶部