文档章节

MySql-Proxy之多路结果集归并

无毁的湖光-Al
 无毁的湖光-Al
发布于 2017/04/07 10:39
字数 971
阅读 2391
收藏 188
点赞 10
评论 27

MySql-Proxy之多路结果集归并

笔者觉得Cobar之类的分库分表最神奇的部分就是靠一条sql查询不同schema下(甚至不同实例下)的不同的表。例如

select * from t_test; // 映射为
    |------select * from schema1.t_test
    |------select * from schema2.t_test
ResultSet // 返回结果集为两者的归并    
    |--schema1.t_test.ResultSet
    |--schema2.t_test.ResultSet

以笔者这种刨根到底的性格当然要把这个过程DIY出来。
由于Cobar对MySql的连接是BIO的。而笔者喜欢NIO,于是用NIO将Corbar的多节点查询全部重写(基于Netty)。NIO的难度更大,性能也更好,这个重写的过程就记录成博客,以飨读者。

多路归并原理

多节点发送select语句

lancelot_select
当客户端发送给select * from test后,Lancelot会根据配置将语句将当前语句路由到多个不同的DB实例上,如上图所示。
FrontEnd:用来和client交互,一个FrontEnd可以对应多个Backend
BackEnd:用来和DB交互

多节点归并结果集

result_set
每条语句在一个DB实例上面执行后,都会返回一个ResultSet结果集,在此需要将多个结果集归并成一个统一的结果集,然后返回给client,这样client就感觉像查询一个DB实例一样。
如上图所示,归并过程在下面讲解。

归并ResultSet结果集

在讲如何归并前,我们需要重温一下MySql返回结果集的结构, 其详细描述见笔者博客:

https://my.oschina.net/alchemystar/blog/834150

其协议格式如下所示:
result_protocol
由上图可见,
其中的Row才是真正的数据内容。而其余的例如,field_count、fields 、eof以及last_eof则仅仅是携带数据格式的信息。
如果要多路归并成一路的话,field_count、fields、eof以及last_eof这些只需要返回给client一份即可。

去掉多余的结构描述信息

现在根据协议结构将Frontend归并结果集的代码阶段分为三个:
(1)fieldList阶段: 由于field_count、fields、eof这三个阶段是连续的,于是将其合并成一个状态。
(2)Row阶段:顾名思义,接收DB返回的数据阶段。
(3)LastEof阶段:最后的收尾阶段,每个结果集的last_eof表示此结果集的结束,只有所有的last_eof都收到之后才能表示结果的结束。

fieldList阶段的处理:

首先每个Backend都接收field_count,fields,eof。当其接收到eof之后,收到row之前,向Frontend提交这些信息。如下图所示:
lancelot_fields
当Frontend获取到Backend1的feilds信息之后,就开始接收Row,并丢弃其余Backend的fields信息。代码如下:

public void fieldListResponse(List<BinaryPacket> fieldList) {
    lock.lock();
    try {
        if(!isFailed.get()) {
            // 如果还没有传过fieldList的话,则传递
            if (!fieldEofReturned) {
                writeFiledList(fieldList);
                fieldEofReturned = true;
            }
        }
    } finally {
        lock.unlock();
    }
}

Row阶段的处理

当Frontend进入Row阶段之后,处理比较简单,Backend发送的任何Row都向前段传输,如果是Backend的fields信息则丢弃。如下图所示:
lancelot_row

LastEof阶段

每当一个Backend收到last_eof之后,表明当前Backend的结果集已经结束。Frontend需要等所有的Backend结果集结束之后,再发送一个last_eof告诉client,所有的结果已经完了,如下图所示:
last_eof
代码如下所示:

// last eof response
public void lastEofResponse(BinaryPacket bin) {
    lock.lock();
    try {
        logger.info("last eof ");
        if (decrementCountBy()) {
            if (!isFailed.get()) {
                bin.packetId = ++packetId;
                logger.info("write eof okay");
                bin.write(session.getCtx());
                // 如果是自动提交,则释放session
                if(session.getSource().isAutocommit()){
                    session.release();
                }
            }else{
                notifyFailure();
            }
        }
    } finally {
        lock.unlock();
    }
}

例子

运行lancelot中的LanceLotServer的main命令,其就自动连接了我本机的MySql。 配置之类的在SystemConfig中进行修改(现在还没有做到配置文件化)。
我用mysqlclient连接到lancetlot,然后运行select * from test命令。结果如下图所示:
example

GitHub链接

https://github.com/alchemystar/Lancelot

码云链接

https://git.oschina.net/alchemystar/Lancelot

原文链接

https://my.oschina.net/alchemystar/blog/874592

© 著作权归作者所有

共有 人打赏支持
无毁的湖光-Al
粉丝 291
博文 21
码字总数 27641
作品 0
浦东
后端工程师
加载中

评论(27)

无毁的湖光-Al
无毁的湖光-Al

引用来自“苦思冥想”的评论

求分享使用的demo

@苦思冥想 这个配置还没脚本化呢 现在只是弄了个总体的 暂时不建议使用哈 可以看源码了解思路
苦思冥想
苦思冥想
求分享使用的demo
无毁的湖光-Al
无毁的湖光-Al

引用来自“rogerxp”的评论

文章写得不错,只是我比较关注的left join、排序、分页这些功能如何实现,却只字未提

@肖肖2015 文章名字有点歧义:)
肖肖2015
文章写得不错,只是我比较关注的left join、排序、分页这些功能如何实现,却只字未提
无毁的湖光-Al
无毁的湖光-Al

引用来自“小山羊”的评论

mycat 是基于NIO的吧
是的 应该是基于原来cobar frontend的NIO框架
小山羊
小山羊
mycat 是基于NIO的吧
无毁的湖光-Al
无毁的湖光-Al

引用来自“LiangShao”的评论

花哥神作,强烈推荐
:smile:
LiangShao
LiangShao
花哥神作,强烈推荐
无毁的湖光-Al
无毁的湖光-Al

引用来自“超级大丁丁”的评论

膜拜

@超级大丁丁 :)
超级大丁丁
超级大丁丁
膜拜
MySQL多数据源笔记5-ShardingJDBC实战

Sharding-JDBC集分库分表、读写分离、分布式主键、柔性事务和数据治理与一身,提供一站式的解决分布式关系型数据库的解决方案。 从2.x版本开始,Sharding-JDBC正式将包名、Maven坐标、码云仓...

狂小白
03/19
0
0
【原创】MySQL Proxy - query注入动作中的脚本序列

【15.7.4.1. Proxy Scripting Sequence During Query Injection】 下图展示了一个如何使用 proxy 将客户端发送过来的 query 注入到 query 队列的例子。因为 proxy 位于客户端和 MySQL 服务器...

摩云飞
2013/03/05
0
0
数据库中间件 Sharding-JDBC 源码分析 —— 结果归并

摘要: 原创出处 www.iocoder.cn/Sharding-JD… 「芋道源码」欢迎转载,保留摘要,谢谢! 本文主要基于 Sharding-JDBC 1.5.0 正式版 1. 概述 2. MergeEngine 2.1 SelectStatement#setIndexFor...

芋道源码掘金Java群217878901
2017/10/29
0
0
MySQL查询优化器--非SPJ优化--ORDERBY优化

MySQL提供了两种排序算法操作(即ORDERBY操作,所以理解排序算法有助于理解ORDERBY优化),在查询执行计划中用“filesort”表示使用了外部文件进行排序。第一种算法是双路排序算法,只利用O...

1415699306
2014/08/31
0
0
【原创】MySQL Proxy - 内部结构

【15.7.4.2. Internal Structures】 在 MySQL Proxy 的脚本元素中有一些基本的内部结构需要知道。其中最主要的结构就是 proxy ,其提供了访问贯穿脚本中的许多公共结构的接口,例如连接列表和...

摩云飞
2013/03/05
0
0
多线程对800万个数据进行排序

分8个线程对800万个数据分别排序,等所有线程排完序之后,进行简单的多路归并。这和外排的多路归并是一样的,也可以使用优化的胜者树算法。 [1].编程珠玑. P5 [2].http://blog.chinaunix.ne...

兔之
2015/03/21
0
0
【原创】MySQL Proxy - 脚本

【15.7.4. MySQL Proxy Scripting】 (下面这些章节可以参考后面的译文) 15.7.4.1. Proxy Scripting Sequence During Query Injection 15.7.4.2. Internal Structures 15.7.4.3. Capturing ......

摩云飞
2013/03/05
0
3
MySQL水平分区方案--Spock Proxy

Spock Proxy 是由实际项目产生的一个开源项目(Spock是Rails的应用,Speck Proxy应当可用于Rails之外的,例如PHP或.NET),基于MySQL Proxy开发,是MySQL Proxy的一个分支,支持range-based...

匿名
2010/02/03
4.3K
0
数据库中间件 Sharding-JDBC 源码分析 —— 结果归并

摘要: 原创出处 http://www.iocoder.cn/Sharding-JDBC/result-merger/ 「芋道源码」欢迎转载,保留摘要,谢谢! 本文主要基于 Sharding-JDBC 1.5.0 正式版 1. 概述 2. MergeEngine 2.1 Selec...

芋道源码
2017/10/29
0
0
MySQL 水平分区方案Spock Proxy

Spock Proxy 是由实际项目产生的一个开源项目(Spock是Rails的应用,Speck Proxy应当可用于Rails之外的,例如PHP或.NET),基于MySQL Proxy开发,是MySQL Proxy的一个分支,支持range-based...

晨曦之光
2012/03/09
264
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

回想过往,分析当下,着眼未来

好久没有真正的在纸质笔记本上写过东西了,感觉都快不会写字了,笔画都不知道怎么写了。接下来就说说咱们的正事。 2018年7月22日,我做了一个决定,那就是去参加安全培训(可能是我职业生涯中...

yeahlife
43分钟前
4
0
关于工作中的人际交往

关于工作中的人际交往 Intro 写了篇发泄情绪的博客,但不会发布出来。 大概就是,要么忍,要么滚。 以及一些不那么符合社会主义核心价值观,不满于大资本家与小资本家剥削的废话。

uniqptr
48分钟前
0
0
springMVC的流程

1.用户发送请求至前端控制器DispatcherServlet 2.DispatcherServlet收到请求调用HandlerMapping处理器映射器。 3.处理器映射器根据请求url找到具体的处理器,生成处理器对象及处理器拦截器(...

JavaSon712
今天
0
0
大数据教程(3.2):Linux系统软件安装之自动化脚本

博主前面文章有介绍过软件的安装,可以帮助IT人员顺利的完成功能软件安装;但是,对于我们运维人员或者需要管理软件安装的项目经理来说,有些应用一次行需要搭建很多台相同的软件环境(如tom...

em_aaron
今天
0
1
Spring Boot 2.0.3 JDBC整合Oracle 12

整合步骤 1. Oracle驱动引入 Oracle驱动一般不能通过maven仓库直接下载得到,需自行下载并导入到项目的lib目录下,建议通过如下pom依赖引入下载的Oracle驱动 <!-- Oracle 驱动 -->...

OSC_fly
今天
0
0
java 8 并行流 - 1

下面创建一个并行流,与顺序流 //顺序流Stream.iterate(0L, i -> i + 1) .limit(Integer.MAX_VALUE) .reduce(0L, Long::sum);//并行流Stream.iterate(0L, i -> i......

Canaan_
今天
0
0
数据结构与算法5

二分法采用向下取整的方法 使用有序数组的好处是查找的速度比无序数组快的多,不好的方面是因为要将所有靠后的数据移开,所以速度较慢,有序数组和无序数组的删除操作都很慢。 有序数组在查找...

沉迷于编程的小菜菜
昨天
1
1
SpringBoot | 第十一章:Redis的集成和简单使用

前言 上几节讲了利用Mybatis-Plus这个第三方的ORM框架进行数据库访问,在实际工作中,在存储一些非结构化或者缓存一些临时数据及热点数据时,一般上都会用上mongodb和redis进行这方面的需求。...

oKong
昨天
5
0
对基于深度神经网络的Auto Encoder用于异常检测的一些思考

一、前言 现实中,大部分数据都是无标签的,人和动物多数情况下都是通过无监督学习获取概念,故而无监督学习拥有广阔的业务场景。举几个场景:网络流量是正常流量还是攻击流量、视频中的人的...

冷血狂魔
昨天
0
0
并发设计之A系统调用B系统

A-->B A在发送请求之前,用乐观锁,减少对B的重复调用,这样一定程度上是幂等性。 比如A系统支付功能,要调用B系统进行支付操作,但是前端对"支付"按钮不进行控制,即用户会不断多次点击支付...

汉斯-冯-拉特
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部