加载中
Apache Kyuubi:Serverless Spark的探索与实践

Kyuubi 是网易数帆大数据团队开源的项目,在各位导师和社区小伙伴的共同努力之下于今年 6 月 21 号正式进入 Apache 孵化器。以下为本次分享内容整理,在不改变原意的基础上有所删减。 1 Kyuu...

NVIDIA GPUDirect Storage(GDS)概览

NVIDIA Magnum IO GPUDirect Storage Overview Guide 原文来自于:https://docs.nvidia.com/gpudirect-storage/overview-guide/index.html The NVIDIA® Magnum IO GPUDirect® Storage Over...

NVIDIA GPUDirect Storage(GDS)设计指南

NVIDIA GPUDirect Storage Design Guide 原文来自于:https://docs.nvidia.com/gpudirect-storage/design-guide/index.html The purpose of the Design Guide is to show OEMs, CSPs and ODM...

Triton:安装与使用例程

安装 二进制分发版 更多参考:Triton简介: Open-Source GPU Programming for Neural Networks 通过 pip 安装稳定版: pip install triton 二进制包支持 CPython 3.6-3.9 和 PyPy 3.6-3.7。 ...

OpenEBS云原生存储使用

OpenEBS云原生存储使用 本文将指导您如何在Kubernetes集群上安装OpenEBS作为持久化存储。 我们将使用Operator的方式来安装OpenEBS,安装之前需要先确认您的节点上已经安装了iSCSI。 更多参考...

OpenEBS云原生存储简介

OpenEBS OpenEBS是一款使用Go语言编写的基于容器的块存储开源软件。OpenEBS使得在容器中运行关键性任务和需要数据持久化的负载变得更可靠。 OpenEBS由CloudByte研发,这是一家专业做容器化存...

KubeFlow 1.2.0部署问题完全解决

KubeFlow是一个基于Kubernetes的大数据和机器学习平台。部署参考: KubeFlow 1.2.0镜像缓存(持续更新) KubeFlow 1.2.0部署(Ubuntu20.04 + k8s 1.21.0) 预先准备 部署Istio服务网格 参考 ...

Kubernetes 1.21.0高可用集群快速升级及扩容

Kubernetes 1.21.0已经正式发布,高可用集群也可以直接升级(hub.docker.com已经停更,使用registry.cn-hangzhou.aliyuncs.com/google_containers)。快速升级(含国内镜像快速下载链接)包括升...

cuPy:A NumPy-compatible array library accelerated by CUDA

cuPy:A NumPy-compatible array library accelerated by CUDA High performance with CUDA CuPy is an open-source array library accelerated with NVIDIA CUDA. CuPy provides GPU accele...

Dask-分布式DataFrame安装与使用

Dask是一个分布式DataFrame,跟Spark类似,但是用于python环境(Spark使用Scala和Java,PySpark通过py4j进行包装后执行)。Dask支持单机、多机并行,这里介绍安装与使用方法。 1、快速安装 ...

Spark 3.0 使用GPU加速

概览 RAPIDS Accelerator for Apache Spark 使用 GPUs数据加速处理,通过 RAPIDS libraries来实现。 参考: https://nvidia.github.io/spark-rapids/ https://www.nvidia.cn/deep-learning-a...

Apache Spark on Kubernetes: How Apache YuniKorn (Incubating) helps

Background Why choose K8s for Apache Spark Apache Spark unifies batch processing, real-time processing, stream analytics, machine learning, and interactive query in one-platform...

KubeFlow 1.2.0部署(Ubuntu20.04 + k8s 1.21.0)

Kubeflow 部署(使用 kfctl_k8s_istio) 安装 Kubeflow的一些指南(使用 kfctl_k8s_istio 配置部署到已有的Kubernetes集群中)。该配置清单创建Kubeflow的核心部件部署,但不包括外部依赖,可...

BytePS is a high performance and general distributed training framework

BytePS(https://github.com/bytedance/byteps) is a high performance and general distributed training framework. It supports TensorFlow, Keras, PyTorch, and MXNet, and can run o...

高性能序列推理引擎LightSeq简介

2017 年 Google 提出了 Transformer [1] 模型,之后在它基础上诞生了许多优秀的预训练语言模型和机器翻译模型,如 BERT [2] 、GPT 系列[13]等,不断刷新着众多自然语言处理任务的能力水平。与...

Spark 3.0 on Kubernetes 部署与使用指南

Spark 可以运行在 Kubernetes 管理的集群之上,该特性可以使用添加到Spark的原生的Kubernetes scheduler。该调度器目前还是体验状态,将来可能会发生变化,使用时需要注意。 相关参考: Spar...

Spark 3.0 内置支持 GPU 调度

如今大数据和机器学习已经有了很大的结合,在机器学习里面,因为计算迭代的时间可能会很长,开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内...

Spark 3.0 on Kubernetes 的模式与最新发展

Spark 3.0发布后,对Kubernetes的原生支持得到大幅增强,从而方便了Spark在云原生环境中的快速部署和运行实例的管理。这里探讨Spark on Kubernetes 生态的现状与挑战。 参考: Spark 3.01 o...

OneFlow特点与机器学习的未来

原文来自:https://www.zhihu.com/question/409036335/answer/1373468192 本文的主要内容如下: 自我介绍 OneFlow的设计思路,它的独特性 OneFlow的特色一:Actor机制 OneFlow的特色二:SBP...

GlusterFS的多节点交替升级

分布式存储是不敢随便升级的,一旦部分节点失败可能导致整个分布式卷无法访问,损失就大了! 不过,GlusterFS的多节点对等冗余机制,使节点交替升级成为可能,也就安全了很多。 ⚠️注意: ...

2020/01/06 23:27
228

没有更多内容

加载失败,请刷新页面

返回顶部
顶部