文档章节

postgresql数据库中间件pgoneproxy支持二级分库分表

harris2016
 harris2016
发布于 2016/07/20 14:39
字数 1287
阅读 589
收藏 1

  在很多场景中需要按照多个字段来进行分库分表,比如在电信行业中,一般会根据用户号码以及时间(比如月份)来存储用户通信产生的数据。今天就给大家讲讲,怎么使用pgoneproxy来实现这个功能。现在假设用户号码就是int 型的id号,下面的配置中先根据id进行分表,在根据时间tt进行分表。

[
	{
        "table"  : "bigtest",
        "pkey"   :  "id",
        "type"   :  "int",
        "method" :  "crc32",
        "partitions":
        [
                {"suffix":"_0", "group":"data1"},
                {"suffix":"_1", "group":"data1"}
        ],
        "subpkey":"tt",
        "subtype":"timestamp",
        "submethod":"buffer",
        "subpartitions":
        [
                {"suffix":"_2015", "group":"data1", "minval":"1997-01-01 00:00:00", "maxval":"2015-01-01 00:00:00"},
                {"suffix":"_2037", "group":"data1", "minval":"2015-01-01 00:00:01", "maxval":"2037-01-01 00:00:00"}
        ]
        
        
  }
]

上面通过crc32来针对ID进行分表,存储到后缀为_0,_1的表中。在通过buffer的方式来针对时间字段tt来把数据存储到对应后缀的表中。通过上面的配置,在数据库表中会产生如下的四张表:

pgbench=> \dt;
              List of relations
 Schema |       Name       | Type  |  Owner   
--------+------------------+-------+----------
 public | bigtest_0_2015   | table | db_user
 public | bigtest_0_2037   | table | db_user
 public | bigtest_1_2015   | table | db_user
 public | bigtest_1_2037   | table | db_user

即小于2015-01-01 00:00:00的数据存放到后缀为2015的表中,其他的数据存放到2037的表中。如果想根据更加具体的时间来分表,则可以通过修改subpartitiions来做到。

下面通过具体的操作来看看实现情况:

pgbench=> \dt;
              List of relations
 Schema |       Name       | Type  |  Owner   
--------+------------------+-------+----------
 public | pgbench_accounts | table | postgres
 public | pgbench_branches | table | postgres
 public | pgbench_history  | table | postgres
 public | pgbench_tellers  | table | postgres
(4 rows)

pgbench=> create table bigtest(id int, name varchar(1024), age int, tt timestamp);
CREATE 0
pgbench=> \dt;
              List of relations
 Schema |       Name       | Type  |  Owner   
--------+------------------+-------+----------
 public | bigtest_0_2015   | table | db_user
 public | bigtest_0_2037   | table | db_user
 public | bigtest_1_2015   | table | db_user
 public | bigtest_1_2037   | table | db_user
 public | pgbench_accounts | table | postgres
 public | pgbench_branches | table | postgres
 public | pgbench_history  | table | postgres
 public | pgbench_tellers  | table | postgres
(8 rows)

pgbench=> insert into bigtest(id, name, age, tt) values(0, 'name0', 30, '2001-01-01 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(1, 'name1', 31, '2002-01-01 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(2, 'name2', 32, '2012-11-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(3, 'name3', 33, '2012-12-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(4, 'name4', 34, '2013-12-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(5, 'name5', 35, '2014-12-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(6, 'name6', 36, '2016-12-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(7, 'name7', 37, '2017-12-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(8, 'name8', 38, '2018-12-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(9, 'name9', 39, '2012-12-11 00:00:00');
INSERT 0 1
pgbench=> insert into bigtest(id, name, age, tt) values(10, 'name10', 40, '2022-12-11 00:00:00');
INSERT 0 1
pgbench=> \dt;
              List of relations
 Schema |       Name       | Type  |  Owner   
--------+------------------+-------+----------
 public | bigtest_0_2015   | table | db_user
 public | bigtest_0_2037   | table | db_user
 public | bigtest_1_2015   | table | db_user
 public | bigtest_1_2037   | table | db_user
 public | pgbench_accounts | table | postgres
 public | pgbench_branches | table | postgres
 public | pgbench_history  | table | postgres
 public | pgbench_tellers  | table | postgres
(8 rows)

pgbench=> select * from bigtest_0_2015;
 id | name  | age |         tt          
----+-------+-----+---------------------
  0 | name0 |  30 | 2001-01-01 00:00:00
  2 | name2 |  32 | 2012-11-11 00:00:00
  4 | name4 |  34 | 2013-12-11 00:00:00
(3 rows)

pgbench=> select * from bigtest_0_2037;
 id |  name  | age |         tt          
----+--------+-----+---------------------
  6 | name6  |  36 | 2016-12-11 00:00:00
  8 | name8  |  38 | 2018-12-11 00:00:00
 10 | name10 |  40 | 2022-12-11 00:00:00
(3 rows)

pgbench=> select * from bigtest_1_2015;
 id | name  | age |         tt          
----+-------+-----+---------------------
  1 | name1 |  31 | 2002-01-01 00:00:00
  3 | name3 |  33 | 2012-12-11 00:00:00
  5 | name5 |  35 | 2014-12-11 00:00:00
  9 | name9 |  39 | 2012-12-11 00:00:00
(4 rows)

pgbench=> select * from bigtest_1_2037;
 id | name  | age |         tt          
----+-------+-----+---------------------
  7 | name7 |  37 | 2017-12-11 00:00:00
(1 row)

pgbench=> select * from bigtest;
 id |  name  | age |         tt          
----+--------+-----+---------------------
  0 | name0  |  30 | 2001-01-01 00:00:00
  2 | name2  |  32 | 2012-11-11 00:00:00
  4 | name4  |  34 | 2013-12-11 00:00:00
  6 | name6  |  36 | 2016-12-11 00:00:00
  8 | name8  |  38 | 2018-12-11 00:00:00
 10 | name10 |  40 | 2022-12-11 00:00:00
  1 | name1  |  31 | 2002-01-01 00:00:00
  3 | name3  |  33 | 2012-12-11 00:00:00
  5 | name5  |  35 | 2014-12-11 00:00:00
  9 | name9  |  39 | 2012-12-11 00:00:00
  7 | name7  |  37 | 2017-12-11 00:00:00
(11 rows)

pgbench=> select * from bigtest where id = 0;
 id | name  | age |         tt          
----+-------+-----+---------------------
  0 | name0 |  30 | 2001-01-01 00:00:00
(1 row)

pgbench=> select * from bigtest where tt < '2015-01-01 00:00:00';
 id | name  | age |         tt          
----+-------+-----+---------------------
  0 | name0 |  30 | 2001-01-01 00:00:00
  2 | name2 |  32 | 2012-11-11 00:00:00
  4 | name4 |  34 | 2013-12-11 00:00:00
  1 | name1 |  31 | 2002-01-01 00:00:00
  3 | name3 |  33 | 2012-12-11 00:00:00
  5 | name5 |  35 | 2014-12-11 00:00:00
  9 | name9 |  39 | 2012-12-11 00:00:00
(7 rows)

pgbench=> select * from bigtest where tt > '2015-01-01 00:00:00';
 id |  name  | age |         tt          
----+--------+-----+---------------------
  6 | name6  |  36 | 2016-12-11 00:00:00
  8 | name8  |  38 | 2018-12-11 00:00:00
 10 | name10 |  40 | 2022-12-11 00:00:00
  7 | name7  |  37 | 2017-12-11 00:00:00
(4 rows)

pgbench=> select * from bigtest where tt > '2015-01-01 00:00:00' and tt < '2018-01-01 00:00:00';
 id | name  | age |         tt          
----+-------+-----+---------------------
  6 | name6 |  36 | 2016-12-11 00:00:00
  7 | name7 |  37 | 2017-12-11 00:00:00
(2 rows)

pgbench=> select * from bigtest where tt > '2014-01-01 00:00:00' and tt < '2015-01-01 00:00:00';
 id | name  | age |         tt          
----+-------+-----+---------------------
  5 | name5 |  35 | 2014-12-11 00:00:00
(1 row)

pgbench=> 

上面展示了从新建表,插入数据,查询数据的整个过程。从实验结果看能够很好的支持上面讲述的场景。

© 著作权归作者所有

harris2016
粉丝 10
博文 54
码字总数 30661
作品 0
杭州
程序员
私信 提问
知数堂首次PG公开课:一招玩转Sharding

点击关注了解更多精彩内容 10月25日(今晚)公开课 《PostgreSQL中基于FDW的Sharding方案》 分享嘉宾:董红禹(MySQL/PostgreSQL DBA) 分享时间:10月25日(本周四),20:30 分享主题: FDW(...

老叶茶馆_
2018/10/25
0
0
本周推荐:MySQL、PostgreSQL没有更好,只看选择

点击上方蓝色字关注我们~ DB界谜题 MySQL好 or PostgreSQL好? 通过以下两场公开课 看老司机们分享的MySQL、PostgreSQL 或许没有谁更好的答案 只是关乎于选择 选择了,那就是千般好 MySQL公开...

老叶茶馆_
2018/10/26
0
0
PostgreSQL 类微博FEED系统 - 设计与性能指标

标签 PostgreSQL , feed , 微博 , 推送 , 分区 , 分片 , UDF , 挖掘 , 文本挖掘 背景 类微博系统,最频繁用到的功能: 之前写过一篇《三体高可用PCC大赛 - facebook微博 like场景 - 数据库设...

德哥
2018/04/18
0
0
DBGeeK数据库技术沙龙(4月杭州站)

活动主题:DBGeeK+PG数据库技术沙龙(杭州站) 活动时间:2017年4月8日(周六全天)PS:本次活动午餐将由社区为参加活动的小伙伴们提供自助午餐,名额有限,先到先得哦~ 活动地点:下城区庆春...

DBGeeK社群
2017/03/07
84
0
DBGeeK数据库技术沙龙(4月杭州站)

活动主题:DBGeeK+PG数据库技术沙龙(杭州站) 活动时间:2017年4月8日(周六全天)PS:本次活动午餐将由社区为参加活动的小伙伴们提供自助午餐,名额有限,先到先得哦~ 活动地点:下城区庆春...

DBGeeK社群
2017/03/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Hive(五)——Sqoop导入导出数据

一、

ittzg
30分钟前
2
0
抽象同步队列AQS——AbstractQueuedSynchronizer锁详解

AQS——锁的底层支持 谈到并发,不得不谈ReentrantLock;而谈到ReentrantLock,不得不谈AbstractQueuedSynchronizer(AQS)! 类如其名,抽象的队列式的同步器,AQS定义了一套多线程访问共享资...

须臾之余
今天
2
0
springboot配置百度UEditor 富文本详解

富文本简介 UEditor是由百度web前端研发部开发所见即所得富文本web编辑器,具有轻量,可定制,注重用户体验等特点,开源基于MIT协议,允许自由使用和修改代码... 准备工作 ueditor需要单独文...

wotrd
昨天
3
0
mysql 5.7之my.cnf配置大全

[client]port = 3306socket = /tmp/mysql.sock[mysqld]###############################基础设置######################################Mysql服务的唯一编号 每个mysql服务...

Online_Reus
昨天
2
0
MAVEN打包时引入外部链接的包

1.项目引入了ORACLE的jar包,MAVEN配置如下 2.打jar包的时候需要指定下main入口函数mainClass <dependency> <groupId>com.oracle</groupId> <artifactId>ojdbc6</artifactId> ......

Cobbage
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部