人工智能与大数据 - openthings的个人空间 - OSCHINA - 中文开源技术交流社区

openthings

生而不有，为而不恃，功成而弗居，天之道。

3.3K

经验值

2.8K

开源豆

关注私信

WiFi模块固件

40

专长领域： 软件开发管理

开发平台： 其它, C/C++, Python, Linux/Unix

连击天

fork: star:

加载中

Kyuubi 是网易数帆大数据团队开源的项目，在各位导师和社区小伙伴的共同努力之下于今年 6 月 21 号正式进入 Apache 孵化器。以下为本次分享内容整理，在不改变原意的基础上有所删减。 1 Kyuu...

spark kyuubi kubernetes yarn hive server engine jdbc plan 开源 apache iceberg catlog 数据处理

人工智能与大数据

2021/09/14 22:51

60

NVIDIA Magnum IO GPUDirect Storage Overview Guide 原文来自于：https://docs.nvidia.com/gpudirect-storage/overview-guide/index.html The NVIDIA® Magnum IO GPUDirect® Storage Over...

note docs code enhancements index debug https runtime release guide storage common forexample nvidia

人工智能与大数据

2021/08/11 06:19

1K

NVIDIA GPUDirect Storage Design Guide 原文来自于：https://docs.nvidia.com/gpudirect-storage/design-guide/index.html The purpose of the Design Guide is to show OEMs, CSPs and ODM...

https storage index code enhancements docs guide release green red nvidia forexample gpus copyright

人工智能与大数据

2021/08/11 06:16

3.4K

安装二进制分发版更多参考：Triton简介: Open-Source GPU Programming for Neural Networks 通过 pip 安装稳定版： pip install triton 二进制包支持 CPython 3.6-3.9 和 PyPy 3.6-3.7。 ...

triton k benchmark pytorch stride torch pyscript https data lang html elements plots 单元测试

人工智能与大数据

2021/08/02 22:32

472

OpenEBS云原生存储使用本文将指导您如何在Kubernetes集群上安装OpenEBS作为持久化存储。我们将使用Operator的方式来安装OpenEBS，安装之前需要先确认您的节点上已经安装了iSCSI。更多参考...

openebs docs operator kubernetes 云原生 jenkins ubuntu html server kubeadm node client level

人工智能与大数据

2021/05/30 20:15

265

OpenEBS OpenEBS是一款使用Go语言编写的基于容器的块存储开源软件。OpenEBS使得在容器中运行关键性任务和需要数据持久化的负载变得更可靠。 OpenEBS由CloudByte研发，这是一家专业做容器化存...

openebs kubernetes 存储服务容器编排系统 https connect 开源 swarm node schema maya

人工智能与大数据

2021/05/30 20:13

8.4K

KubeFlow是一个基于Kubernetes的大数据和机器学习平台。部署参考： KubeFlow 1.2.0镜像缓存（持续更新） KubeFlow 1.2.0部署（Ubuntu20.04 + k8s 1.21.0）预先准备部署Istio服务网格参考 ...

deployment https metallb 存储服务 mysql kubeflow controller istio download docs metadata

人工智能与大数据

2021/05/06 19:12

1.4K

Kubernetes 1.21.0已经正式发布，高可用集群也可以直接升级(hub.docker.com已经停更，使用registry.cn-hangzhou.aliyuncs.com/google_containers)。快速升级（含国内镜像快速下载链接）包括升...

kubeadm kubernetes kube ubuntu etcd coredns docker controller worker blob jupyterlab https tools

人工智能与大数据

2021/04/18 17:25

121

cuPy：A NumPy-compatible array library accelerated by CUDA High performance with CUDA CuPy is an open-source array library accelerated with NVIDIA CUDA. CuPy provides GPU accele...

cupy anumpy cufftandnccltomakefulluseofthegpuarchitecture cupysupportsvariousmethods

人工智能与大数据

2021/04/07 23:17

290

Dask是一个分布式DataFrame，跟Spark类似，但是用于python环境（Spark使用Scala和Java，PySpark通过py4j进行包装后执行）。Dask支持单机、多机并行，这里介绍安装与使用方法。 1、快速安装 ...

optional kubernetes worker dask timeout dict yaml spec node release context adapt client memory kube

人工智能与大数据

2021/04/07 22:03

131

概览 RAPIDS Accelerator for Apache Spark 使用 GPUs数据加速处理，通过 RAPIDS libraries来实现。参考： https://nvidia.github.io/spark-rapids/ https://www.nvidia.cn/deep-learning-a...

spark executor https apachespark dask 分布式计算框架 init update data aws-sparkmagic tasks

人工智能与大数据

2021/03/29 21:27

199

Background Why choose K8s for Apache Spark Apache Spark unifies batch processing, real-time processing, stream analytics, machine learning, and interactive query in one-platform...

platform fair flink affinity tensorflow machinelearning incubating yunikorn someofthehigh

人工智能与大数据

2021/03/27 07:48

175

Kubeflow 部署（使用 kfctl_k8s_istio）安装 Kubeflow的一些指南（使用 kfctl_k8s_istio 配置部署到已有的Kubernetes集群中）。该配置清单创建Kubeflow的核心部件部署，但不包括外部依赖，可...

kubeflow istio yaml kubernetes cache https github 工作流框架负载均衡器机器学习系统

人工智能与大数据

2021/03/12 22:16

325

BytePS（https://github.com/bytedance/byteps） is a high performance and general distributed training framework. It supports TensorFlow, Keras, PyTorch, and MXNet, and can run o...

here horovod byteps bps pytorch https home repo support dockerimages github mxnet keras tensorflow

人工智能与大数据

2021/02/27 22:00

112

2017 年 Google 提出了 Transformer [1] 模型，之后在它基础上诞生了许多优秀的预训练语言模型和机器翻译模型，如 BERT [2] 、GPT 系列[13]等，不断刷新着众多自然语言处理任务的能力水平。与...

lightseq k tensorflow 深度学习框架 mean beam https reduce 开源 pytorch cache .net

人工智能与大数据

2020/11/25 08:07

200

Spark 可以运行在 Kubernetes 管理的集群之上，该特性可以使用添加到Spark的原生的Kubernetes scheduler。该调度器目前还是体验状态，将来可能会发生变化，使用时需要注意。相关参考： Spar...

kubernetes spark executor image driver none node context kerberos authenticate https server

人工智能与大数据

2020/09/22 12:46

2.5K

如今大数据和机器学习已经有了很大的结合，在机器学习里面，因为计算迭代的时间可能会很长，开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内...

spark yarn kubernetes accelerator executor 资源管理器 spip 大数据机器学习 apachespark

人工智能与大数据

2020/09/22 11:07

1.3K

Spark 3.0发布后，对Kubernetes的原生支持得到大幅增强，从而方便了Spark在云原生环境中的快速部署和运行实例的管理。这里探讨Spark on Kubernetes 生态的现状与挑战。参考： Spark 3.01 o...

kubernetes spark operator github https etcd prometheus docs 大数据 repo executor yaml controller

人工智能与大数据

2020/09/22 10:51

1.7K

原文来自：https://www.zhihu.com/question/409036335/answer/1373468192 本文的主要内容如下：自我介绍 OneFlow的设计思路，它的独特性 OneFlow的特色一：Actor机制 OneFlow的特色二：SBP...

oneflow actor 深度学习深度学习框架 https pytorch tensorflow plan runtime

人工智能与大数据

2020/08/03 09:25

233

分布式存储是不敢随便升级的，一旦部分节点失败可能导致整个分布式卷无法访问，损失就大了！不过，GlusterFS的多节点对等冗余机制，使节点交替升级成为可能，也就安全了很多。 ⚠️注意： ...

glusterfs 分布式存储系统 brick 数据存储 glusterfs5 ubuntu18 04lts

人工智能与大数据

2020/01/06 23:27

413

没有更多内容

加载失败，请刷新页面

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

深圳市奥思网络科技有限公司版权所有

粤ICP备12009483号

顶部