数据库中间件MyCat

原创
2019/08/20 17:41
阅读数 118

什么是MyCat?

查看官网的介绍是这样说的

  • 一个彻底开源的,面向企业应用开发的大数据库集群
  • 支持事务、ACID、可以替代MySQL的加强版数据库
  • 一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群
  • 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server
  • 结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品
  • 一个新颖的数据库中间件产品

主要特性

  • 支持SQL92标准
  • 支持MySQL、Oracle、DB2、SQL Server、PostgreSQL等DB的常见SQL语法
  • 遵守Mysql原生协议,跨语言,跨平台,跨数据库的通用中间件代理。
  • 基于心跳的自动故障切换,支持读写分离,支持MySQL主从,以及galera cluster集群。
  • 支持Galera for MySQL集群,Percona Cluster或者MariaDB cluster
  • 基于Nio实现,有效管理线程,解决高并发问题。
  • 支持数据的多片自动路由与聚合,支持sum,count,max等常用的聚合函数,支持跨库分页。
  • 支持单库内部任意join,支持跨库2表join,甚至基于caltlet的多表join。
  • 支持通过全局表,ER关系的分片策略,实现了高效的多表join查询。
  • 支持多租户方案。
  • 支持分布式事务(弱xa)。
  • 支持XA分布式事务(1.6.5)。
  • 支持全局序列号,解决分布式下的主键生成问题。
  • 分片规则丰富,插件化开发,易于扩展。
  • 强大的web,命令行监控。
  • 支持前端作为MySQL通用代理,后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。
  • 支持密码加密
  • 支持服务降级
  • 支持IP白名单
  • 支持SQL黑名单、sql注入攻击拦截
  • 支持prepare预编译指令(1.6)
  • 支持非堆内存(Direct Memory)聚合计算(1.6)
  • 支持PostgreSQL的native协议(1.6)
  • 支持mysql和oracle存储过程,out参数、多结果集返回(1.6)
  • 支持zookeeper协调主从切换、zk序列、配置zk化(1.6)
  • 支持库内分表(1.6)
  • 集群基于ZooKeeper管理,在线升级,扩容,智能优化,大数据处理(2.0开发版)

下载及安装

到官网根据系统类型进行下载:http://mycat.io/

将下载文件解压,目录如下:

各个目录简要说明:

bin:启动目录
catlet: 扩展功能
conf:配置文件目录
server.xml:是Mycat服务器参数调整和用户授权的配置文件
schema.xml:是逻辑库定义和表以及分片定义的配置文件
rule.xml: 是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件,也在这个目录下,配置文件修改需要重启MyCAT
log4j.xml: 日志存放在logs/log中,每天一个文件,日志的配置是在conf/log4j.xml中,根据自己的需要可以调整输出级别为debug,debug级别下,会输出更多的信息,方便排查问题
autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties, sequence_db_conf.properties 分片相关的id分片规则配置文件
lib:jar包目录
logs :日志目录

进入bin目录,通过管理员身份打开DOS窗口,分别执行命令:

mycat install

mycat start

这样就可以启动mycat了。

核心配置

server.xml : 设置账号、参数等

schema.xml : 物理数据库和数据库表的配置

rule.xml : 分片(分库分表)规则

关于配置的详细介绍可以参考 https://www.cnblogs.com/joylee/p/7513038.html 或者官网 http://www.mycat.io/document/mycat-definitive-guide.pdf

示例

首次认识mycat,最容易是从示例着手去了解,比如此次示例是结合mysql完成数据的分库分表,进行横向扩展。

首先需要准备几个mysql的服务器,通过docker构建,具体怎么可以参考网上,大致步骤如下:

   1、下载mysql镜像: docker pull mysql
   2、启动容器:docker run -di -p 32768:3306 --name mysql1 -e MYSQL_ROOT_PASSWORD=123456 mysql ,输入容器id
   3、通过容器id进入容器,docker exec -it <id> /bin/bash
   4、进入mysql:mysql -u root -p -> 123456
   5、添加远程连接用户与密码:GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456';
   6、权限:flush privileges;

如果不出意外则可以连接,因为我是通过本地虚拟机安装docker,默认端口192.168.99.100。现在根据下载的镜像启动3个容器,修改不同的端口。

通过客户端工具分别连接以上三个数据库,并且建表:

创建数据库:TESTDB

建表:

CREATE TABLE `employee` (
  `id` int(11) NOT NULL,
  `name` varchar(56) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

1、修改server.xml配置文件

    <user name="root" defaultAccount="true">
        <property name="password">123456</property>

        <!-- 连接时用这个名字,比如 jdbc:mysql://localhost:8066/TESTDB -->
        <property name="schemas">TESTDB</property>
    </user>

2、修改schema.xml

    <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">

        <table name="employee" primaryKey="ID" dataNode="dn1,dn2,dn3"  rule="mod-long" />

    </schema>
    <!-- name节点名,与上对应;dataHost:真实数据库配置;database:数据库表配置 -->
    <dataNode name="dn1" dataHost="host1" database="TESTDB" />
    <dataNode name="dn2" dataHost="host2" database="TESTDB" />
    <dataNode name="dn3" dataHost="host3" database="TESTDB" />

    <dataHost name="host1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select 1</heartbeat>
        <writeHost host="hostS1" url="192.168.99.100:32768" user="root" password="123456" />
    </dataHost>
    <dataHost name="host2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select 1</heartbeat>
        <writeHost host="hostS2" url="192.168.99.100:32769" user="root" password="123456" />
    </dataHost>
    <dataHost name="host3" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select 1</heartbeat>
        <writeHost host="hostS3" url="192.168.99.100:39770" user="root" password="123456" />
    </dataHost>

3、修改rule.xml

上面<table>配置了rule="mod-long",在rule.xml有相关的描述,修改下面参数,与上面dataNode数量对应

    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">3</property>
    </function>

这样mycat的配置就完成了,由于修改了配置,我们将mycat重启,进入bin,mycat restart。

测试

由于之前使用了mybatis-plus+springboot的项目,所有就用了这个:

application-mycat.properties:

mybatis-plus.mapper-locations=classpath*:com/sucl/sbmp/*/mapper/**Mapper.xml
mybatis-plus.type-aliases-package=com.sucl.sbmp.*.entity
mybatis-plus.global-config.refresh=true
#mybatis-plus.global-config.db-config.db-type=mysql
mybatis-plus.configuration.map-underscore-to-camel-case=true
mybatis-plus.configuration.cache-enabled=false


mp.datasource.driver-class-name=com.mysql.jdbc.Driver
mp.datasource.url=jdbc:mysql://localhost:8066/TESTDB?useUnicode=true&useSSL=false&characterEncoding=utf8
mp.datasource.username=root
mp.datasource.password=123456
mp.datasource.validation-query=select '1'
mp.datasource.testOnBorrow=true

实体:

@Data
public class Employee {

    @TableId(type = IdType.INPUT)
    private long id;

    @TableField(value = "name")
    private String name;
}

mapper:

public interface EmployeeMapper extends BaseMapper<Employee> {

}

service:

@Service
@Transactional
public class EmployeeServiceImpl extends ServiceImpl<EmployeeMapper,Employee> implements EmployeeService {

}

测试:

@ActiveProfiles("mycat")
@RunWith(SpringRunner.class)
@SpringBootTest
public class SbmpTest {
    @Autowired
    private EmployeeService employeeService;

    @Transactional
    @Rollback(false)
    @Test
    public void save(){
        List<Employee> employees = new ArrayList<>();
        for(int i=0;i<100;i++){
            Employee employee = new Employee();
            employee.setId(i);
            employee.setName("name"+i);
            employees.add(employee);
        }
        employeeService.saveBatch(employees);
    }

    @Test
    public void get(){
        List<Employee> employees = employeeService.list(null);
        employees.stream().forEach(System.out::println);
    }

}

分别执行两个方法,会根据id在三个数据库中分别插入数据:

查询时则可以查看三个表中所有的数据,可见数据是根据id离散在不同表中,具体的策略在于之前的mod-long相关配置。

此章主要对mycat做一个初步认识,同时根据简单的示例了解其基本的工作原理,当然mycat可以帮助我们实现实现数据库的读写分离、数据库水平垂直拆分、集群等功能,但同时不得不面对相应情况下的问题。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部