文档章节

打造基于Python的流式数据分析平台

openthings
 openthings
发布于 2015/05/21 15:23
字数 266
阅读 870
收藏 10

    基于Python已经有多个科学研究和数据分析库,使用非常方便。结合OpenStack(http://www.openstack.org)、RabbitMQ(http://www.rabbitmq.com)、Celery(http://www.celeryproject.org)可以打造一个实时数据的分析平台。

    OpenStack是基于Python开发的云计算平台,可以进行虚拟机的调度和管理,以及数据的虚拟化存储。RabbitMQ是一个消息总线服务器,支持通过消息的数据快速收发和任务数据的调度、分派,Celery实现并行的Worker数据分析模型。三个软件模块的结合可以完成虚拟机管理、任务管理、实时数据收发的相关任务,并使用numPy等科学计算库执行数据分析。

    如下图所示:

    感觉上,功能满强的哦!以后有时间了,再来慢慢研究。

© 著作权归作者所有

openthings
粉丝 324
博文 1140
码字总数 689435
作品 1
东城
架构师
私信 提问
加载中

评论(3)

openthings
openthings 博主
这个方案的最大优势是可以利用基于Python的大量的支持库和科学计算库,可以在广域网/因特网上进行调度,穿越防火墙等。其实,把并行框架换成Map-Reduce也未尝不可,但是就复杂了。而且即时进行规模伸缩和对等计算模式也就难以实现了。
openthings
openthings 博主
远程控制台可以使用iPython或者基于此的Rodeo,这个的Web服务器用的Flask(基于Python的轻量级Web框架)。
Tonlin
Tonlin
斤斤计较了
阿里云DataHub RestAPI使用示例

概述 阿里云流数据处理平台DataHub是流式数据(Streaming Data)的处理平台,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让您可以轻松构建基于流式数据的分析和应用。目...

taro_秋刀鱼
01/05
0
0
Apache Pulsar Meetup | 深圳站

活动介绍 Apache Pulsar 是下一代云原生分布式流数据平台,它源于 Yahoo,2016 年 12 月开源,2018 年 9 月正式成为 Apache 顶级项目,逐渐从单一的消息系统演化成集消息、存储和函数式轻量化...

StreamNative
06/05
95
0
腾讯云AI平台张文杰:构建一站式机器学习服务平台

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 5月24日,以“无界数据 无限智能”为主题的腾讯“云+未来”峰会AI大数据分论坛在广州拉开帷幕。此次分论坛上,腾讯云针对AI大数据...

腾讯云加社区
2018/06/05
0
0
八月暑期福利,10本Python热门书籍免费送!

八月第一周,网易云社区联合博文视点为大家带来Python专场送书福利,10本关于Python的书籍内容涉及Python入门、绝技、开发、数据分析、深度学习、量化投资等。以下为书籍简介,送书福利请见文...

网易云
2018/08/02
0
0
荐书丨从数据分析到机器学习,大数据新书给你赋能

大数据作为人工智能的基石,犹如互联网世界的石油。数字经济的发展离不开大数据,大数据从业人员也离不开持续的学习。 dbaplus社群携手@图灵教育,推荐三本大数据好书,给大家提供持续学习的...

dbaplus社群
08/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Tensorflow 2.0安装

Tensorflow2.0安装环境: Ubuntu 16.04或更高(64位) Windows 7或者更高(64位,且支持python3) 安装Tensorflow 2.0 GPU版本的需要安装NVIDIA相关软件包: NVIDIA驱动 :版本必须410.x或更...

JosiahMg
20分钟前
4
0
TL138/1808/6748F-EasyEVM开发板硬件、CPU、FLASH、RAM

TL138/1808/6748F-EasyEVM是广州创龙基于SOM-TL138/SOM-TL1808/SOM-TL6748F核心板开发的一款开发板。由于SOM-TL138/SOM-TL1808/SOM-TL6748核心板管脚兼容,所以此三个核心板共用同一个底板。...

Tronlong创龙
27分钟前
4
0
百度嵌入式AI解决方案EdgeBoard之内存驱动设计介绍

1. 背景介绍 由于 FPGA 具备可编程和高性能计算的特点,基于FPGA硬件的AI计算加速,正广泛地应用到计算机视觉处理领域。其中极具代表性的部署方式之一就是使用FPGA和CPU组合构成异构计算系统...

AI君
33分钟前
6
0
开放应用模型(OAM):全球首个云原生应用标准定义与架构模型

Kubernetes 项目作为容器编排领域的事实标准, 成功推动了诸如阿里云 Kubernetes (ACK)等云原生服务的迅速增长。但同时我们也关注到,Kubernetes 的核心 API 资源比如 Service、Deploymen...

Mr_zebra
36分钟前
4
0
《Linux操作系统-Exynos4412》编译和安装Busybox

开发环境:Exynos4412-iTOP-4412开发板 现在 Busybox 的配置已经完成了,接下来开始编译 Busybox,在 Ubuntu 的终端输入 “make”命令开始编译 Busybox,如下图。 下图为编译过程中的截图。 ...

书白
39分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部