文档章节

PG设置与规划

秦牧羊
 秦牧羊
发布于 2015/11/10 17:35
字数 710
阅读 680
收藏 1

计算单个pool 的PG Count公式

 

PoolPGCount=((TargetPGsPerOSD)∗(OSDNumber)∗(DataPercent) )/PoolSize

参数介绍

名称 说明 备注
Pool PG Count 单个Pool的PG数量  
Target PGs Per OSD 每个OSD的PGs数量 a)如果未来集群的OSD数量基本不再增长,Target PGs per OSD =100 
b)如果未来集群的OSD数量可能增长到目前规模的2倍以内,Target PGs per OSD =200
c)如果未来集群的OSD数量增长规模大于当前2倍且小于3倍,Target PGs per OSD =300
OSD Number 集群OSD的总数,默认来讲是全部OSD的数量 如果通过CRUSH rules进行了SSD和SATA设备的规则拆分(比如SSD和SATA划分成两个zone),需要单独填写对应rule的OSD数量
Data Percent Pool占用所在OSD总容量的百分比(预估值)  
Pool Size 每个pool的replicas size,默认是3 如果使用Erasure Coded Pools简称EC pool,Pool Size = K+m

关于计算结果取整说明

计算的最终结果应该是一个2的幂次方。采用2的幂次方是因为了提高CRUSH算法的效率。 
如果计算出来的结果,找到与这个结果相邻的两个2次幂数值,如果结果超过较小二次幂数值的25%则选择较大的二次幂作为最终结果,反之则选择较小的那个2次幂数值。

其他说明

设计计算公式的目的是为了确保整个集群拥有足够多的PG从而实现数据均匀分布在各个OSD上,同时能够有效避免在Recovery 和Backfill 的时候因为PG/OSD比值过高所造成的问题。 
如果集群中存在空pool或者其他非活跃状态下的pool,这些pool并不影响现有集群的数据分布,但是这些pool仍然会消耗集群的内存和CPU资源。

举例

环境介绍:

某集群由100个OSD组成,其中40个OSD为SSD (通过CRUSH rules划分为SSD zone),60个OSD为SATA(通过CRUSH rules划分为SATA zone),集群规模预计未来会增长到当前规模的2倍

需求:

整个集群新建4个pool,具体如下:

名称 说明 备注
SSD_poolA Pool Size=3,预计容量占用比60% SSD zone
SSD_poolB Pool Size=3,预计容量占用比40% SSD zone
SATA_poolA EC Pools,Pool Size = k+m= 3+2=5,预计容量占用比80% SATA zone
SATA_poolb Pool Size=3,预计容量占用比20% SATA zone
名称 说明 备注
SSD_poolA

PoolPGCount=((200)∗(40)∗(0.6))/3=1600≈2048

1600与相邻的2次幂数值分布为1024<1600<2048
SSD_poolB

PoolPGCount=((200)∗(40)∗(0.4))/3=1066≈1024

SSD zone
SATA_poolA

PoolPGCount=((200)∗(60)∗(0.8))/5=1920≈2048

SSD zone
SATA_poolB

PoolPGCount=((200)∗(60)∗(0.2))/3=800≈1024

SSD zone

参考资料http://ceph.com/pgcalc/

© 著作权归作者所有

秦牧羊
粉丝 75
博文 57
码字总数 28980
作品 0
广州
架构师
私信 提问
PostgresSQL-规划器使用的统计信息

13.2. 规划器使用的统计信息 就象我们在上一节里展示的那样,查询规划器需要估计一个查询检索的行的数目,这样才能选择正确的查询规划。 本节就系统用于这些估计的统计进行一些描述。 统计的...

angie_hawk7
2015/01/30
0
0
PostgreSQL在Linux上的RPM和源码安装

第一章 引言 此文档主要描述Postgre数据库,基于Red Hat Enterprise Linux Server release 6.5 的操作系统上安装Postgre数据库的文档衍生而来。此文档包括Postgre数据库的多种安装方式。 1....

史蒂夫傲视
06/20
0
0
CentOS 7.x里yum安装Odoo 8.0&9.0(OpenERP)

(总结)CentOS 7.x里yum安装Odoo 8.0&9.0(OpenERP) 最近想了解下合适中小企业使用的ERP系统,研究了几款主流的开源ERP系统以及了解下SAP、Oracle EBS等大型ERP系统,开源ERP里Odoo(以前叫...

李伟铭k
2018/07/09
0
0
PostgreSQL学习手册(十二) 数据库维护

一、恢复磁盘空间: 在PostgreSQL中,使用delete和update语句删除或更新的数据行并没有被实际删除,而只是在旧版本数据行的物理地址上将该行的状态置为已删除或已过期。因此当数据表中的数据...

长平狐
2012/08/27
71
0
如何在CentOS 7.x中安装OpenERP(Odoo)

各位好,这篇教程关于的是如何在CentOS 7中安装Odoo(就是我们所知的OpenERP)。你是不是在考虑为你的业务安装一个不错的ERP(企业资源规划)软件?那么OpenERP就是你寻找的最好的程序,因为...

酱醋茶丶
2015/11/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

idea下springboot 项目在static目录下添加文件不生效

idea下springboot 项目在static目录下添加文件不生效 问题描述 是这样子的,我的项目目录结构如下: 我在static目录下,创建了index.html和aaaa.jpg这两个文件。然后,启动服务访问 http://l...

wotrd
昨天
4
0
k8s1.14 一、环境

1. 4台虚拟机 (CentOS Linux release 7.2.1511 (Core) ) 192.168.130.211 master 192.168.130.212 node1 192.168.130.213 node2 192.168.130.214 node3 2. 设置服务器hostname 2.1 设置本机......

ThomasCheng
昨天
3
0
盖茨:如果我现在开创一家公司 将会专注于AI

新浪科技讯,北京时间 6 月 26 日凌晨消息,微软联合创始人比尔·盖茨(Bill Gates)在周一接受采访时表示,如果他今天从哈佛大学辍学并开创一家新公司,那么这家公司将会专注于人工智能(A...

linuxCool
昨天
1
0
聊聊feign的Retryer

序 本文主要研究一下feign的Retryer Retryer feign-core-10.2.3-sources.jar!/feign/Retryer.java public interface Retryer extends Cloneable { /** * if retry is permitted, retur......

go4it
昨天
9
0
HyperLogLog简介

  (1)HyperLogLog简介      在Redis 在 2.8.9 版本才添加了 HyperLogLog,HyperLogLog算法是用于基数统计的算法,每个 HyperLogLog 键只需要花费 12 KB 内存,就可以计算接近 2^64 个...

SEOwhywhy
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部