文档章节

基于代理的数据库分库分表框架 Mycat实践

CodeSheep
 CodeSheep
发布于 2018/12/20 07:43
字数 2248
阅读 896
收藏 36

Profile

文章共 1796字,阅读大约需要 4分钟 !


概 述

在如今海量数据充斥的互联网环境下,分库分表的意义我想在此处就不用赘述了。而分库分表目前流行的方案最起码有两种:

  • 方案一:基于应用层的分片,即应用层代码直接完成分片逻辑
  • 方案二:基于代理层的分片,即在应用代码和底层数据库中间添加一层代理层,而分片的路由规则则由代理层来进行处理

而本文即将要实验的 MyCAT框架就属于第二种方案的代表作品。

注: 本文首发于 My Personal Blog:CodeSheep·程序羊,欢迎光临 小站


环境规划

在本文中,我拿出了三台 Linux主机投入试验,各节点的角色分配如下表所示:

节点部署组件角色
192.168.199.75MySQL 、 MyCATmaster
192.168.199.74MySQLslave
192.168.199.76MySQLstandby master

如果说上面这张表不足以说明实验模型,那接下来再给一张图好了,如下所示:

实验模型

我想这样看来的话,各个节点布了哪些组件,节点间的角色关系应该一目了然了吧

实验环境规划好了以后,接下来进行具体的部署与实验过程,首先当然是 MyCAT代理的部署


MyCAT 部署

关于该部分,网上教程实在太多了,但最好还是参考官方文档来吧,下面也简述一下部署过程

  • 下载 MyCAT并解压安装

这里安装的是 MyCAT 1.5

wget https://raw.githubusercontent.com/MyCATApache/Mycat-download/master/1.5-RELEASE/Mycat-server-1.5.1-RELEASE-20161130213509-linux.tar.gz
tar -zxvf Mycat-server-1.5.1-RELEASE-20161130213509-linux.tar.gz
mv mycat /usr/local/
  • 启动 MyCAT
./mycat start

MyCAT 启动日志

  • MyCAT连接测试
mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

MyCAT 连接成功


MyCAT 配置

官网上对于这一部分的描述是非常详细的,MyCAT 配置主要涉及三个 XML配置文件:

  • server.xml:MyCAT框架的系统参数/用户参数配置文件
  • schema.xml: MyCAT框架的逻辑库表与分片的配置文件
  • rule.xml :MyCAT框架的逻辑库表分片规则的配置文件

用如下图形可以形象地表示出这三个 XML配置文件的配置内容和相互关系:

三个与 MyCAT相关的 xml配置

下面来进入具体的实验环节 ,这也是围绕 MyCAT提供的几大主要功能展开的,主要涉及三个方面

  • 分库分表
  • 读写分离
  • 主备切换

实验之前,我们先给出公共的 server.xml文件的配置,这部分后续实验过程中并不修改,其也就是定义了系统参数和用户参数:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/">
	<system>
	<property name="defaultSqlParser">druidparser</property>
      <!--  <property /> 这块诸多的property配置在此就不配置了,参照官网按需配置 -->
	</system>
	<user name="test">
		<property name="password">test</property>
		<property name="schemas">TESTDB</property>
	</user>

	<user name="user">
		<property name="password">user</property>
		<property name="schemas">TESTDB</property>
		<property name="readOnly">true</property>
	</user>

</mycat:server>

分库分表实验

预期实验效果:通过 MyCAT代理往一张逻辑表中插入的多条数据,在后端自动地分配在不同的物理数据库表上

我们按照本文 **第二节【环境规划】**中给出的实验模型图来给出如下的 MyCAT逻辑库配置文件 schema.xml 和 分库分表规则配置文件 rule.xml

  • 准备配置文件

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/" >

	<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
		<table name="travelrecord" dataNode="dn1,dn2" rule="sharding-by-month" />
	</schema>
	
	<dataNode name="dn1" dataHost="testhost" database="db1" />
	<dataNode name="dn2" dataHost="testhost" database="db2" />
	
	<dataHost name="testhost" maxCon="1000" minCon="10" balance="0"
		writeType="0" dbType="mysql" dbDriver="native" switchType="-1"  slaveThreshold="100">
		<heartbeat>select user()</heartbeat>
		<writeHost host="hostM1" url="localhost:3306" user="root" password="xxxxxx">
                <readHost host="hostS1" url="192.168.199.74:3306" user="root" password="xxxxxx" />
		</writeHost>
		<writeHost host="hostM2" url="192.168.199.76:3306" user="root" password="xxxxxx">
		</writeHost>
	</dataHost>

</mycat:schema>

其中定义了实验用到的 hostM1、hostS1 和 hostM2

rule.xml

	<tableRule name="sharding-by-month">
		<rule>
			<columns>create_date</columns>
			<algorithm>partbymonth</algorithm>
		</rule>
	</tableRule>

	<function name="partbymonth"
		class="org.opencloudb.route.function.PartitionByMonth">
		<property name="dateFormat">yyyy-MM-dd</property>
		<property name="sBeginDate">2018-11-01</property>
	</function>

这里配置了 sharding-by-month的分库分表规则,即按照表中的 create_date字段进行分割,从 2018-11-01日期开始,月份不同的数据落到不同的物理数据库表中

  • 在三个物理节点数据库上分别创建两个库 db1和 db2
create database db1;
create database db2;
  • 连接 MyCAT
mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
  • 通过 MyCAT来创建数据库 travelrecord
create table travelrecord (id bigint not null primary key,city varchar(100),create_date DATE);
  • 通过 MyCAT来往travelrecord表中插入两条数据
insert into travelrecord(id,city,create_date)  values(1,'NanJing','2018-11-3');
insert into travelrecord(id,city,create_date)  values(2,'BeiJing','2018-12-3');

通过 MyCAT往逻辑库中插入数据

由于插入的这两条记录的 create_date分别是 2018-11-32018-12-3,而我们配的分库分表的规则即是根据 2018-11-01这个日期为起始来进行递增的,按照前面我们配的分片规则,理论上这两条记录按照 create_date日期字段的不同,应该分别插入到 hostM1的 db1和 db2两个不同的数据库中。

  • 验证一下数据分片的效果

数据分片的效果

由于 hostM1hostS1组成了 主-从库 关系,因此刚插入的两条数据也应该相应自动同步到 hostS1db1db2两个数据库中,不妨也来验证一下:

主从数据库同步也是OK的


读写分离实验

**预期实验效果:**开启了 MyCAT的读写分离机制后,读写数据操作各行其道,互不干扰

此节实验用到的配置文件 schema.xmlrule.xml基本和上面的【分库分表】实验没什么不同,只是我们需要关注一下 schema.xml配置文件中 <dataHost />标签里的 balance字段,它是与读写分离息息相关的配置:

因此我们就需要弄清楚 <dataHost /> 标签中 balance参数的含义:

  • balance="0":不开启读写分离机制,即读请求仅分发到 writeHost上
  • balance="1":读请求随机分发到当前 writeHost对应的 readHost和 standby writeHost上
  • balance="2":读请求随机分发到当前 dataHost内所有的 writeHost / readHost上
  • balance="3":读请求随机分发到当前 writeHost对应的 readHost上

我们验证一下 balance="1"的情况,即开启读写分离机制,且读请求随机分发到当前 writeHost对应的 readHost和 standby writeHost上,而对于本文来讲,也即:hostS1 和 hostM2 上

我们来做两次数据表的 SELECT读操作:

mysql> select * from travelrecord limit 6;
+----+----------+-------------+
| id | city     | create_date |
+----+----------+-------------+
|  3 | TianJing | 2018-11-04  |
|  5 | ShenYang | 2018-11-05  |
|  4 | Wuhan    | 2018-12-04  |
|  6 | Harbin   | 2018-12-05  |
+----+----------+-------------+
4 rows in set (0.08 sec)

mysql> select * from travelrecord limit 6;
+----+---------+-------------+
| id | city    | create_date |
+----+---------+-------------+
|  2 | BeiJing | 2018-12-03  |
|  8 | WuXi    | 2018-12-06  |
|  1 | NanJing | 2018-11-03  |
|  7 | SuZhou  | 2018-11-06  |
+----+---------+-------------+
4 rows in set (0.01 sec)

然后我们取出 mycat.log日志查看一下具体详情,我们发现第一次 select读操作分发到了 hostM2上:

第一次 select读操作分发到了 hostM2上

而第二次 select读操作分发到了 hostS1上:

第二次 select读操作分发到了 hostS1上


主备切换实验

**预期实验效果:**开启 MyCAT的主备机制后,当主库宕机时,自动切换到备用机进行操作

关于主备切换,则需要弄清楚 <dataHost /> 标签中 switchType参数的含义:

  • switchType="-1":不自动切换主备数据库
  • switchType="1":自动切换主备数据库
  • switchType="2":基于MySQL主从复制的状态来决定是否切换,需修改heartbeat语句:show slave status
  • switchType="3":基于Galera(集群多节点复制)的切换机制,需修改heartbeat语句:show status like 'wsrep%'

此处验证一下 Mycat的主备自动切换效果。为此首先我们将 switchType="-1" 设置为 switchType="1",并重启 MyCat服务:

<dataHost name="testhost" maxCon="1000" minCon="10" balance="0"
        writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

在本实验环境中,在 hostM1hostM2均正常时,默认写数据时是写到 hostM1

  • 接下来手动停止 hostM1 上的 MySQL数据库来模拟 hostM1 宕机:
systemctl stop mysqld.service

接下来再通过 MyCat插入如下两条数据:

insert into travelrecord(id,city,create_date)  values(3,'TianJing','2018-11-4');
insert into travelrecord(id,city,create_date)  values(4,'Wuhan','2018-12-4');

效果如下:

hostM1宕机后,备用hostM2升级为主写节点

  • 此时,我们恢复 hostM1,但接下来的数据写入依然进入 hostM2
insert into travelrecord(id,city,create_date)  values(5,'ShenYang','2018-11-5');
insert into travelrecord(id,city,create_date)  values(6,'Harbin','2018-12-5');

虽然hostM1恢复,但依然不是主写节点

  • 接下来手动让 hostM2宕机,看 hostM1 是否能升级为主写节点

再插入两条数据:

insert into travelrecord(id,city,create_date)  values(7,'SuZhou','2018-11-6');
insert into travelrecord(id,city,create_date)  values(8,'WuXi','2018-12-6');

hostM2宕机后,hostM1再次升级为主写节点

很明显,答案是肯定的


后 记

由于能力有限,若有错误或者不当之处,还请大家批评指正,一起学习交流!



© 著作权归作者所有

共有 人打赏支持
CodeSheep

CodeSheep

粉丝 218
博文 74
码字总数 101759
作品 0
南京
程序员
私信 提问
加载中

评论(2)

O
OSC_EpgaZy
#MyCAT# 学习了
阿伦哥-
阿伦哥-
学习了👍
分表分库利器-sharding-sphere

sharding-sphere应用场景: 数据库读写分离 数据库分表分库 只需要在项目中集成主和从的数据源,sharding-sphere自动根据DML和DQL语句类型连接主或者从数据源。 注意: Sharding-sphere只是实...

须臾之余
02/21
0
0
Mycat学习实战-Mycat初识

Mycat学习实战-Mycat初识 Mycat学习实战-Mycat初识 1. Mycat是什么 2. Mycat与其他中间件的区别 3. Mycat能解决的问题 4. Mycat核心概念 5. Mycat文件夹以及文件介绍 1. Mycat是什么 Mycat是...

ygqygq2
2018/06/29
0
0
mycat学习02--摸打滚爬之mycat主从复制于读写分离(线上经验)

上一篇文章讲到了mycat的安装和配置,相信验证过的朋友已经知道了,上一篇的做法已经实现了主从复制与读写分离的效果,这里给大家详细说以下读写分离部分: 我的架构还是双主双从架构:(试验...

拎壶冲冲冲
2018/07/09
0
0
MySQL多数据源笔记4-Mycat中间件实战

Mycat 是数据库中间件,就是介于数据库与应用之间,进行数据处理与交互的中间服 务。由于前面讲的对数据进行分片处理之后,从原有的一个库,被切分为多个分片数据库,所有的分片数据库集 群构...

狂小白
2018/03/18
0
0
mycat实现mysql分库分表

1. mycat介绍 MyCat发展到目前的版本,已经不是一个单纯的MySQL代理了,它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库,也支持MongoDB这种新型NoSQL方式的存储,...

红隐
2018/05/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

微信退款异步通知解密异常->填充无效,无法被移除

该问题是怎么引起的? AESDecrypt 加密处理发生异常 重现步骤 使用模拟工具 POSTMan 发送模拟通知 示例报文一: <return_code>SUCCESS</return_code><mch_id></mch_id><nonce_str></nonce_st......

夏至如沫
5分钟前
0
0
PC端网页使用微信扫码获取用户精确地理位置的一种解决方案[未测试]

移动互联网时代,获取用户地理位置来实现LBS当然不再话下。 在传统的PC浏览器应用领域,想获取用户的位置信息一般采用第三方的IP库,比如:淘宝IP地址库。但这种解决方案的缺陷是显而易见的:...

dragon_tech
7分钟前
0
0
【机器学习PAI实战】—— 玩转人工智能之利用GAN自动生成二次元头像

前言 深度学习作为人工智能的重要手段,迎来了爆发,在NLP、CV、物联网、无人机等多个领域都发挥了非常重要的作用。最近几年,各种深度学习算法层出不穷, Generative Adverarial Network(GAN...

迷你芊宝宝
10分钟前
0
0
Dijkstra算法之 Java详解

迪杰斯特拉算法介绍 迪杰斯特拉(Dijkstra)算法是典型最短路径算法,用于计算一个节点到其他节点的最短路径。 它的主要特点是以起始点为中心向外层层扩展(广度优先搜索思想),直到扩展到终点为...

孟飞阳
12分钟前
0
0
php7.2安装zookeeper扩展

简单记录下安装过程。 一、安装libzookeeper cd /usr/local/src/wget http://mirror.bit.edu.cn/apache//zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gztar -xf zookeeper-3.4.5.ta......

叫我哀木涕
21分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部