加载中
Kubernetes Jobs - 运行处理任务指南

Kubernetes Jobs - 运行处理任务指南 一个 job 将创建一个或多个pods,然后确保指定数量的pod运行到结束。当pods成功完成,该 job 跟踪到成功运行的状态。当指定的数量到达时,该 job 自身就...

2018/09/08 06:43
1.1W
Kubernetes jobs:使用模版进行并行处理

Kubernetes job并行处理,使用模版展开 在这个例子里,我们将运行多个Kubernetes Jobs,配置文件从同一个模版展开,然后创建多个jobs任务。 你需要首先了解 Jobs 的用法。 Kubernetes中的Job...

2018/09/07 18:21
854
Kubernetes jobs:使用rsync建立定期备份任务

Kubernetes中的job和cronjob可用于批处理和定时任务。这里,我们使用其建立集群级别的文件备份机制。 关于Kubernetes中的job和cronjob使用,请参考: Kubernetes Jobs - 运行处理任务指南 Ku...

2018/09/09 21:19
1.3K
Kubernetes jobs:使用队列进行并行化处理

本例子中,将运行 Kubernetes Job进行多个并行工作处理,在给定的pod里执行。 每一个 pod一旦创建,就讲从队列中取出一个工作单元,然后重复,知道队列的结束。 Here is an overview of the...

深度学习的基础设施(英)

来自于【http://openai.org】 By Vicki Cheung, Jonas Schneider, Ilya Sutskever, and Greg Brockman August 29, 2016 Deep learning is an empirical science, and the quality of a grou...

Kubeflow-机器学习工作流框架

https://github.com/kubeflow/kubeflow Kubeflow The Kubeflow project is dedicated to making deployments of machine learning (ML) workflows on Kubernetes simple, portable and scala...

Top Spark Ecosystem Projects(英)

Apache Spark has developed a rich ecosystem, including both official and third party tools. We have a look at 5 third party projects which complement Spark in 5 different ways. ...

2016/03/10 10:39
200
Distributed TensorFlow

Distributed TensorFlow 搭建分布式Tensorflow集群,https://my.oschina.net/u/2306127/blog/1815193 中文,https://my.oschina.net/u/2306127/blog/1815208 This document shows how to cr...

Kubernetes中使用CronJob定时备份etcd集群数据

Kubernetes中使用CronJob定时备份etcd集群数据 注意:这里的内容已经过时! 使用kubernetes1.12.3和etcd3.2.24请参考 Kubernetes的etcd探秘-状态数据备份 。 kubernetes中部署的应用的信息都...

2018/09/09 21:32
6K
Celery的任务信息扩展支持库-jobtasctic

jobtastic- Celery tasks plus more awesome Jobtastic makes your user-responsive long-runningCelery jobs totally awesomer. Celery is the ubiquitous python job queueing tool and jo...

快速建立Kubernetes集群,从零开始

入坑靠师傅,出坑靠自己! CI/CD是大规模数据中心不可缺少的基础设施,也是构建集群化系统的第一步。 这里介绍如何从零开始基于Kubernetes建立CI/CD集群,以满足软件企业和数据中心的软件开发...

Kubernetes中通过python api访问IPFS服务

IPFS是一个分布式的全球一致性(参见 HT与分布式一致性 )文件系统,结合了BT、P2P、DHT等的优势。之前的帖子中,介绍了将IPFS部署到Kubernetes集群,以及通过portforward开放IPFS服务的方法...

2018/09/10 15:16
1.6K
分布式MySQL集群Vitess-简介

Vitess is a database solution for deploying, scaling and managing large clusters of MySQL instances. It’s architected to run as effectively in a public or private cloud archit...

2019/02/12 11:33
2.7K
Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines

Notebook Workflows: The Easiest Way to Implement Apache Spark Pipelines by Dave Wang, Eric Liang and Maddie Schults Posted in Company Blog August 30, 2016 原文地址: https://da...

Spark生态圈的分布式文件系统-Tachyon

Tachyon 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍...

Kubernetes集群升级NVidia GPU驱动版本

最近Kubernetes、Docker和NVidia GPU驱动都进行了较大的升级,因此考虑对Kubernetes集群升级NVidia GPU驱动版本。我这里使用Ubuntu 18.04LTS + NVidia GPU Driver 410.78 + Kubernetes 1.13....

Blender的启动命令参数

Blender不仅是一个交互式的三维建模编辑平台,也是一个可以集群化运行的渲染系统。进行独立渲染的时候,可以通过命令行参数直接运行,这里介绍Blender的启动命令行参数,通过blender --help也...

将Kubernetes安装到Docker容器里面

将Kubernetes安装到Docker容器里面,使用DinD(Docker in Docker)完成。 kubeadm-dind-cluster A Kubernetes multi-node cluster for developer of Kubernetes and projects that extend Kube...

Kubernetes中的Job和CronJob,批量任务执行

我们经常需要进行批量数据处理和分析,以及按照时间进行调度执行。可以在Kubenrtes中使用容器技术完成,使用Job和CronJob来执行。这样,可以维护较为干净的执行环境,减少不同任务工具的相互...

2018/03/26 14:13
1.2W

没有更多内容

加载失败,请刷新页面

返回顶部
顶部