加载中
Spark 3.0 使用GPU加速

概览 RAPIDS Accelerator for Apache Spark 使用 GPUs数据加速处理,通过 RAPIDS libraries来实现。 参考: https://nvidia.github.io/spark-rapids/ https://www.nvidia.cn/deep-learning-a...

Apache Spark on Kubernetes: How Apache YuniKorn (Incubating) helps

Background Why choose K8s for Apache Spark Apache Spark unifies batch processing, real-time processing, stream analytics, machine learning, and interactive query in one-platform...

scp 断点续传

scp 是通过ssh协议传输数据,如果是想传输一个很大的数据,这几天我就遇到过,一个tar包,400G左右,通过scp拷贝时,有可能遇到服务器断电什么的悲剧问题,那么类似scp拷贝的另一个命令 rsyn...

KubeFlow 1.2.0镜像缓存(持续更新)

KubeFlow 1.2.0镜像比较多,存在多个docker仓库中,其中部分访问不可达。这里介绍其缓存方法,可以加速KubeFlow部署的过程。本文实现了一个镜像名称的自动提取脚本。 更多参考: KubeFlow 1...

Kubernetes 1.20.4 跨版本升级折腾记

Kubernetes 1.20.4已经发布,一个集群从1.20.2顺利升级,但另外一个集群以前版本有点老,进行跨版本升级时出现问题,后来全部重做,新安装时也出现问题,无法kubeadm init和kubeadm join,后...

KubeFlow 1.2.0部署(Ubuntu20.04 + k8s 1.21.0)

Kubeflow 部署(使用 kfctl_k8s_istio) 安装 Kubeflow的一些指南(使用 kfctl_k8s_istio 配置部署到已有的Kubernetes集群中)。该配置清单创建Kubeflow的核心部件部署,但不包括外部依赖,可...

MicroK8s 1.20.2 安装实践-基于Ubuntu 20.04

MicroK8s是目前最小、最快与Kubernetes全面兼容的集群系统,主要用于工作站和小型团队,但是目前镜像并没有与snap打包在一起,还在gcr.io上,国内下载上还是有问题。MicroK8s适合离线开发、原...

使用KubeFATE在Kubernetes上部署联邦学习集群

FATE(Federated AI Technology Enabler)是联邦机器学习技术的一个框架,其旨在提供安全的计算框架来支持联邦 AI 生态。在本专题,我们将介绍如何基于FATE架构从0到1部署联邦学习集群,本文...

Argo Event-云原生的事件驱动架构

1、Argo Event简介 Event事件大家都很熟悉,可以说Kubernetes就是完全由事件驱动的,不同的controller manager本质就是实现了不同的事件处理函数,比如所有ReplicaSet对象是由ReplicaSetCon...

Kubernetes 1.20.4高可用集群快速升级及扩容

2021年春节一过,Kubernetes又上新了。 Kubernetes 1.20.4已经正式发布,高可用集群也可以直接升级(hub.docker.com已经停更,使用registry.cn-hangzhou.aliyuncs.com/google_containers)。快...

Argo快速安装与使用

Argo(https://argoproj.github.io/projects/argo) 项目是一组 Kubernetes 原生工具集合,用于运行和管理 Kubernetes 上的作业和应用程序。Argo 提供了一种在 Kubernetes 上创建工作和应用程序...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部