加载中
DHT与分布式一致性

在分布式系统中,必须得想办法保持各个节点的状态和数据是一致的,否则就会乱了套。在传统的数据库系统,是通过事务(其实就是交易的意思)机制来实现的,具体实现方法是加锁,包括数据集、记...

GlusterFS分布式存储指南

GlusterFS是一个开源的分布式存储系统,本指南介绍基于Kubernetes的建立分布式存储的方法和步骤,包括分布式一致性、Kubernetes存储系统架构、高性能文件系统以及GlusterFS的安装、部署、修复...

基于Python的分布式计算平台-DPark

DPark是一个基于Mesos的集群计算框架(cluster computing framework),是Spark的Python实现版本,类似于MapReduce,但是比其更灵活,可以用Python非常方便地进行分布式计算,并且提供了更多的...

PostgreSQL的集群化和容器化部署

对于PostgreSQL用户来说,随着数据增多、业务负载上升,需要将其进行容器化和集群化改造,以便于管理和伸缩规模。PostgreSQL虽然可以支持集群,但仍然是传统数据库架构而非分布式数据库架构。...

英特尔分布式深度学习平台Nauta-使用指南

英特尔分布式深度学习平台Nauta-使用指南 Nauta 软件提供了多用户、分布式的计算环境,可以为运行深度学习模型的训练实验提供支持。实验结果可以通过命令行、web UI 和/或 TensorBoard来进行...

03/03 09:51
32
开源大数据处理工具汇总(上)

开源大数据处理工具汇总(上),一共81个。

IPFS的Python API参考手册

IPFS是一个分布式的全球一致性(参见 DHT与分布式一致性 )文件系统,结合了BT、P2P、DHT等的优势。目前IPFS已经提供了python api,可以访问集群中的IPFS服务。 本文地址,https://my.oschin...

GlusterFS的客户端访问和NFS设置

GlusterFS(https://www.gluster.org/)是一个分布式存储系统,支持多种分布式存储卷类型。GlusterFS支持裸机集群部署和Kubernetes容器部署,客户端可以使用专用客户端驱动mount到主机文件系...

英特尔分布式深度学习平台Nauta-安装、配置与管理指南

英特尔分布式深度学习平台Nauta-安装、配置与管理指南 随着人工智能的发展,深度学习的价值不断增长,但实现它可能是一个复杂耗时的过程。英特尔(Intel)正寻求通过其在 Kubernetes 进行分布式...

03/03 09:46
62
Spark for Spatial,相关资源

时空大数据分析正越来越热门,而R之类的分析工具只能制作简单的地图。把GIS纳入大数据技术体系,并且将GIS的算法、模型、可视化等能力与Hadoop/Spark等大规模分布式计算体系结合起来,将是未...

使用Anaconda集成IPython、Spark和TensorFlow、Orange

使用Anaconda集成IPython、Spark和TensorFlow、Orange,形成统一管理的分布式机器学习研究环境。

Python 负载测试工具 Locust

Locust 是一个开源负载测试工具。使用 Python 代码定义用户行为,也可以仿真百万个用户。 Locust 是非常简单易用,分布式,用户负载测试工具。Locust 主要为网站或者其他系统进行负载测试,能...

Kubernetes中通过python api访问IPFS服务

IPFS是一个分布式的全球一致性(参见 HT与分布式一致性 )文件系统,结合了BT、P2P、DHT等的优势。之前的帖子中,介绍了将IPFS部署到Kubernetes集群,以及通过portforward开放IPFS服务的方法...

2018/09/10 15:16
260
分布式存储系统GlusterFS最新版本安装

GlusterFS已经被Red Hat收购了,成为其企业级解决方案的一部分。GlusterFS最近发布了多个新版本,尤其是建立了新的GlusterD 2架构,开始原厂支持Kubernetes,不过目前还没有达到Heketi的可用...

2018/11/21 16:10
155
英特尔为 Kubernetes 推出分布式深度学习平台:Nauta

随着人工智能的发展,深度学习的价值不断增长,但实现它可能是一个复杂耗时的过程。英特尔(Intel)正寻求通过其在 Kubernetes 进行分布式深度学习的新开源平台来改变这一状况,该深度学习平台...

分布式机器学习框架-百度的PADDLE(计划开源)

PADDLE是百度开发的一个分布式的机器学习框架,是基于Spark的。

Spark生态圈的分布式文件系统-Tachyon

Tachyon 是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和 MapReduce。通过利用lineage信息,积极地使用内存,Tachyon的吞吐量要比HDFS高300多倍...

分布式TensorFlow

本文档介绍如何创建TensorFlow服务器集群,以及如何在该集群中分发计算图。我们假设您熟悉编写TensorFlow程序的基本概念。 开始 要查看一个简单的TensorFlow集群,请执行以下操作: # Start ...

GlusterFS的一次节点重置和恢复

由于机器故障,也是为了实验kubernetes master的可恢复性,把服务器10.1.1.201的操作系统重做了,(使用Ubuntu18.04LTS)安装了zfs和glusterfs,创建了/zpool本地存储卷。 1、故障现象 到10....

2018/12/28 09:31
389
DARPA出手, Python有望成为大数据分析语言

当前, 在大数据领域, Java成为了当仁不让的必修语言。原因就是大数据平台必备的Hadoop分布式管理平台需要使用Java,但是这种局面有可能被DARPA改变。 IT经理网在“大数据成为美国军队的’新...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部