加载中
基于Celery的并行处理工程-OpenWorker

OpenWorker-https://github.com/supergis/OpenWorker,基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,可以通过控制台或Web进行管理、提交任务等。...

基于Celery的并行处理工程-OpenWorker快速安装

OpenWorker-https://github.com/supergis/OpenWorker,基于Python的并行处理框架,将集成Celery、Flower、Jobtastic和Rodeo工程,通过Orang可以交互进行流程设计和数据研究,可以通过控制台或...

Kubernetes jobs:使用rsync建立定期备份任务

Kubernetes中的job和cronjob可用于批处理和定时任务。这里,我们使用其建立集群级别的文件备份机制。 关于Kubernetes中的job和cronjob使用,请参考: Kubernetes Jobs - 运行处理任务指南 Ku...

2018/09/09 21:19
79
R语言及其扩展的开发

R是一门主要用于统计分析、绘图的语言和环境,是S语言的一种实现,但R的语法却是来自Scheme,是一种面向对象、支持反射的函数式脚本语言。R本来是由来自新西兰奥克兰大学的Ross Ihaka和Rober...

Spark的Python编程-初步入门

Spark提供了Python脚本编程接口,这里简单介绍其使用。

2016/03/02 07:53
518
分布式机器学习框架-百度的PADDLE(计划开源)

PADDLE是百度开发的一个分布式的机器学习框架,是基于Spark的。

Amazon推出机器学习云服务

Amazon宣布推出 P2 实例,这是一种专为计算密集型应用程序而设计的全新实例类型,此类应用程序需要高性能 GPU 协处理器和大规模并行浮点性能。 P2 实例非常适合深度学习、计算流体动力学、计...

Spark生态圈的分布式文件系统-Tachyon

Tachyon 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍...

OpenSCAD函数一览表

OpenSCAD支持很多种造型函数,基本上涵盖了常规编程语言的全部特征,这里列出25015.3版的函数一览表。

打造基于Python的流式数据分析平台

基于Python已经有多个科学研究和数据分析库,使用非常方便。结合OpenStack、RabbitMQ、Celery可以打造一个实时数据的分析平台。

Kubernetes Jobs - 运行处理任务指南

Kubernetes Jobs - 运行处理任务指南 一个 job 将创建一个或多个pods,然后确保指定数量的pod运行到结束。当pods成功完成,该 job 跟踪到成功运行的状态。当指定的数量到达时,该 job 自身就...

2018/09/08 06:43
876
Spark编程指南—Python版

使用Python在Spark上进行数据分析的教程,翻译自Spark(spark.apache.org)的官方文档。

Spark的可视化作业管理

在过去,Spark UI一直是用户应用程序调试的帮手。而在最新版本的Spark 1.4中,我们很高兴地宣布,一个新的因素被注入到Spark UI——数据可视化。在此版本中,可视化带来的提升主要包括三个部...

基于Python的分布式计算平台-DPark

DPark是一个基于Mesos的集群计算框架(cluster computing framework),是Spark的Python实现版本,类似于MapReduce,但是比其更灵活,可以用Python非常方便地进行分布式计算,并且提供了更多的...

Spark编程指南《Spark 官方文档》

Spark编程指南《Spark 官方文档》,中文翻译,后面包含一些深度使用的方法。

Spark+Docker的集群模式

Spark支持local、Standalone和Cluster三种并行运行模式【参考:Spark的三种运行模式快速入门】。 local,单机运行模式。 Standalone,Spark自己构建的独立集群。 Cluster,运行在Mesos/YARN/...

基于GIScript和GeoIP进行访问网址的地理定位分析

通过网页访问日志分析使用者的地址,然后将其放到地图上,分析访问来源的热区从而得到用户的地图分布,是不是很有用、也很酷?这里介绍个使用GIScript和GeoIP来进行访问网址的地理定位的例子...

2015/07/09 16:23
172
高性能容器伺服器-containerd简介

containerd是一个高性能的容器(container)伺服系统(查看源码),部分功能与Docker很像,相当于Docker Daemon模式和更新版的DockerD。 containerd采用并行启动技术,可以每秒启动上百个容器...

分布式TensorFlow

本文档介绍如何创建TensorFlow服务器集群,以及如何在该集群中分发计算图。我们假设您熟悉编写TensorFlow程序的基本概念。 开始 要查看一个简单的TensorFlow集群,请执行以下操作: # Start ...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部