加载中
PostgreSQL的集群化和容器化部署

对于PostgreSQL用户来说,随着数据增多、业务负载上升,需要将其进行容器化和集群化改造,以便于管理和伸缩规模。PostgreSQL虽然可以支持集群,但仍然是传统数据库架构而非分布式数据库架构。...

DHT与分布式一致性

在分布式系统中,必须得想办法保持各个节点的状态和数据是一致的,否则就会乱了套。在传统的数据库系统,是通过事务(其实就是交易的意思)机制来实现的,具体实现方法是加锁,包括数据集、记...

GlusterFS的客户端访问和NFS设置

GlusterFS(https://www.gluster.org/)是一个分布式存储系统,支持多种分布式存储卷类型。GlusterFS支持裸机集群部署和Kubernetes容器部署,客户端可以使用专用客户端驱动mount到主机文件系...

开源大数据处理工具汇总(上)

开源大数据处理工具汇总(上),一共81个。

向分布式存储系统的迁移-使用ZFS/Gluster

我这用的Ubuntu 18.04系统(已经内置支持ZFS和Gluster文件系统了),原来磁盘存储使用的Ext4格式和LVM,现在需要迁移到ZFS/Gluster支持的分布式软件定义存储(SDS)和容器存储体系(CSI),以...

2018/11/05 09:30
479
分布式存储系统GlusterFS最新版本安装

GlusterFS已经被Red Hat收购了,成为其企业级解决方案的一部分。GlusterFS最近发布了多个新版本,尤其是建立了新的GlusterD 2架构,开始原厂支持Kubernetes,不过目前还没有达到Heketi的可用...

2018/11/21 16:10
148
ZFS存储池zpool丢失恢复及Gluster卷自愈

现象 存储节点pods01的机器出现异常无法连接,重启。 恢复 重启后zpool无法访问,运行 df -h ,发现zpool不见了。 使用zdb查询发现所有的配置信息都在。查阅网络,使用zpool import可以恢复,...

Kubeflow更新升级到0.4.1

Kubeflow是面向Kubernetes集群基础设施的机器学习服务组件。kubeflow采用ksonnet进行软件包管理和部署的,与其它的应用采用Helm的机制有较大的不同。从2018年设立至今,kubeflow项目发展迅速...

基于Kubernetes的容器存储系统

基于Kubernetes的容器存储系统 Kubernetes(https://kubernetes.io)具有强大的存储访问能力,通过Volumes实现。 <...

Kubernetes-2018干货盘点

毫无疑问,Kubernetes在2018年是个丰收年,不仅本身取得了重大的进步,也让使用它的人获益匪浅。 2018年,我跟随着Kubernetes社区,将其升级到了1.13.2版本,推动将GIS服务器第一次迁移到Kub...

GlusterFS的一次节点重置和恢复

由于机器故障,也是为了实验kubernetes master的可恢复性,把服务器10.1.1.201的操作系统重做了,(使用Ubuntu18.04LTS)安装了zfs和glusterfs,创建了/zpool本地存储卷。 1、故障现象 到10....

2018/12/28 09:31
339
Kubernetes上建立WordPress博客

在Kubernetes上运行WordPress的好处是显而易见的。首先是安装非常简单(在已有集群的情况下),其次是可靠性更高,第三是规模可以伸缩。当然,可以在多个云之间更为容易地迁移也是非常重要的...

Kubernetes存储系统-云原生存储Rook部署

Rook是基于的Ceph的分布式存储系统,可以使用kubectl命令部署,也可以使用Helm进行管理和部署。Rook是专用于Cloud-Native环境的文件、块、对象存储服务。它实现了一个自我管理的、自我扩容的...

Python 并行分布式框架:Celery

Celery (芹菜)是基于Python开发的分布式任务队列。它支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度。这里介绍其安装、运行和一个快速的入门例程。注意如果Celery与Rabbi...

使用Kubernetes建立apt镜像服务

在安装Ubuntu和Debian操作系统时,通过在局域网建立一个镜像站点,可以大幅度加速apt软件包安装过程,同时减少主服务器的负担。 这里分享基于Kubernetes来建立apt镜像服务的方法。 使用的apt...

2018/09/05 17:03
53
开源大数据处理工具汇总(下)

开源大数据处理工具汇总(下),第二部分主要收集整理的内容主要有日志收集系统、消息系统、分布式服务、集群管理、RPC、基础设施、搜索引擎、Iaas和监控管理等大数据开源工具。

Rook 0.8 安装及Dashboard的问题和解决

Rook(https://rook.io)已经到了0.8版本,并且进入CNCF的孵化器。Rook是一个容器存储框架,已经率先支持Ceph(http://docs.ceph.org.cn/start/intro/)分布式文件系统。 这里介绍其安装过程,其...

快速开始使用Spark和Alluxio

Spark在大数据处理领域正获得快速增长,其核心的RDD极大地提升了处理性能并且支持迭代运算。目前Spark DataFrame和Spark SQL更加成熟,而作为普通文件存储方案的Tachyon升级成为Alluxio,在成...

Spark for Spatial,相关资源

时空大数据分析正越来越热门,而R之类的分析工具只能制作简单的地图。把GIS纳入大数据技术体系,并且将GIS的算法、模型、可视化等能力与Hadoop/Spark等大规模分布式计算体系结合起来,将是未...

Spark快速入门

什么是Spark Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 与Hadoop和Storm...

2016/03/12 10:17
207

没有更多内容

加载失败,请刷新页面

返回顶部
顶部