加载中
Spark 3.0 on Kubernetes 部署与使用指南

Spark 可以运行在 Kubernetes 管理的集群之上,该特性可以使用添加到Spark的原生的Kubernetes scheduler。该调度器目前还是体验状态,将来可能会发生变化,使用时需要注意。 相关参考: Spar...

Spark 3.0 内置支持 GPU 调度

如今大数据和机器学习已经有了很大的结合,在机器学习里面,因为计算迭代的时间可能会很长,开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内...

Spark 3.0 on Kubernetes 的模式与最新发展

Spark 3.0发布后,对Kubernetes的原生支持得到大幅增强,从而方便了Spark在云原生环境中的快速部署和运行实例的管理。这里探讨Spark on Kubernetes 生态的现状与挑战。 参考: Spark 3.01 o...

OneFlow特点与机器学习的未来

原文来自:https://www.zhihu.com/question/409036335/answer/1373468192 本文的主要内容如下: 自我介绍 OneFlow的设计思路,它的独特性 OneFlow的特色一:Actor机制 OneFlow的特色二:SBP...

GlusterFS的多节点交替升级

分布式存储是不敢随便升级的,一旦部分节点失败可能导致整个分布式卷无法访问,损失就大了! 不过,GlusterFS的多节点对等冗余机制,使节点交替升级成为可能,也就安全了很多。 ⚠️注意: ...

在JupyterHub for K8s使用GlusterFS存储

在Kubernetes中使用GlusterFS(https://www.gluster.org/)有endpoint(外置存储)和heketi(k8s内置GlusterFS服务)两种方式。这里主要介绍使用endpoint将GlusterFS存储设置到JupyterHub for ...

GTC2019-云原生系统的大规模分布式存储实践

GTC2019-云原生系统的大规模分布式存储实践

2019/11/04 08:53
175
00_镜像构建-iObjects Python with JupyterHub for K8s

JupyterHub是一个广泛使用的大数据分析的WebUI界面,在JupyterHub for K8s中集成SuperMap iObjects Python,即可在JupyterLab的Notebook环境下中使用各种地理空间数据的处理功能,实现一体化...

深度学习与处理用于数据驱动的地球系统科学

深度学习与处理用于数据驱动的地球系统科学 由Markus Reichstein 在 2019 发表于 《Nature》。 这是一篇综述性文章,介绍了机器学习如何在地学中的应用与挑战。地球系统科学进入了大数据时代...

PostgreSQL的集群化和容器化部署

对于PostgreSQL用户来说,随着数据增多、业务负载上升,需要将其进行容器化和集群化改造,以便于管理和伸缩规模。PostgreSQL虽然可以支持集群,但仍然是传统数据库架构而非分布式数据库架构。...

分布式MySQL集群Vitess-简介

Vitess is a database solution for deploying, scaling and managing large clusters of MySQL instances. It’s architected to run as effectively in a public or private cloud archit...

2019/02/12 11:33
1.9K
分布式MySQL集群Vitess-Kubernetes部署

Vitess is a database solution for deploying, scaling and managing large clusters of MySQL instances. It’s architected to run as effectively in a public or private cloud archit...

GlusterFS: 访问权限设置

GlusterFS: 访问权限设置 GlusterFS支持基于POSIX Access Control Lists的访问权限设置,在Ubuntu或者类似的系统上,只需要使用setfacl或getfacl来进行操作即可。 原文来源: https://docs.gl...

GlusterFS的再次节点重置和恢复

采用Ubuntu+ZFS+GlusterFS的存储集群,其中一个节点再次出现故障,gluster volume status显示为N/A状态。 检查网络,发现原来的IP地址 10.1.1.193发生了改变(估计被DHCP重新分派地址了),导...

GlusterFS的客户端访问和NFS设置

GlusterFS(https://www.gluster.org/)是一个分布式存储系统,支持多种分布式存储卷类型。GlusterFS支持裸机集群部署和Kubernetes容器部署,客户端可以使用专用客户端驱动mount到主机文件系...

PostgreSQL的高可用与数据复制方案

PostgreSQL是开源的,有多种高可用与数据复制方案,这里做个简单的比较。 一、高可用性、负载均衡、复制方案 共享磁盘失效切换 共享磁盘失效切换通过仅保存一份数据库副本来避免花在同步上的...

IT技术进展与GIS发展展望-2018

IT技术进展与GIS发展展望-2018 近年来,IT技术取得了大量的突破性进展,主要包括六个方面,即大数据、GPU与XR、持续交付、区块链、人工智能、物联网等,而云计算作为已经大量使用的计算基础设...

走向GIS“大”时代

软件是大数据的挖掘机和价值提炼的工厂。通过专业的软件能将数据资源变为可以持续盈利的数据资产,并为业务的持续改进提供真正的帮助。虽然各种数据工具已发展多年,但目前的各种大数据平台的...

GlusterFS - Peer Rejected 错误的恢复

GlusterFS运行一段时间后, 出现 Peer Rejected 错误,经过摸索进行了恢复。 现象: sudo gluster peer status Number of Peers: 2 Hostname: 192.168.199.249 Uuid: 2cfd2767-6454-4538-ab5...

2019/03/16 07:37
724
Kubernetes集群上运行MongoDB实践(Ubuntu 18.04LTS)

MongoDB可以支持裸机运行、容器运行和Kubernetes集群运行等多种方式,其中Kubernetes上可以采用yaml部署容器、Helm Chart部署和Operator等方式,运行的动态伸缩能力有所不同。我在Kubernete...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部