Sharding-JDBC教程:Spring Boot整合Sharding-JDBC实现数据分表+读写分离

原创
2019/06/28 18:30
阅读数 37

点击上方“方志朋”,选择“置顶公众号”

技术文章第一时间送达!


读写分离

在上一篇文章介绍了如何使用Sharing-JDBC实现数据库的读写分离。读写分离的好处就是在并发量比较大的情况下,将查询数据库的压力 分担到多个从库中,能够满足高并发的要求。比如上一篇实现的那样,架构图如下:

数据分表

当数据量比较大的时候,比如单个表的数据量超过了500W的数据,这时可以考虑将数据存储在不同的表中。比如将user表拆分为四个表user0、user1、 user2、user3装在四个表中。此时如图所示:

案例详解

和上一篇文章使用的数据库是同一个数据库,数据库信息如下:

数据库类型 数据库 ip
cool 10.0.0.3
cool 10.0.0.13
cool 10.0.0.17

在主库初始化Mysql数据的脚本,初始化完后,从库也会创建这些表,脚本信息如下:

  
  
  1. USE `cool`;


  2. /*Table structure for table `user_0` */


  3. DROP TABLE IF EXISTS `user_0`;


  4. CREATE TABLE `user_0` (

  5. `id` int(12) NOT NULL AUTO_INCREMENT,

  6. `username` varchar(12) NOT NULL,

  7. `password` varchar(30) NOT NULL,

  8. PRIMARY KEY (`id`),

  9. KEY `idx-username` (`username`)

  10. ) ENGINE=InnoDB AUTO_INCREMENT=149 DEFAULT CHARSET=utf8;


  11. /*Table structure for table `user_1` */


  12. DROP TABLE IF EXISTS `user_1`;


  13. CREATE TABLE `user_1` (

  14. `id` int(12) NOT NULL AUTO_INCREMENT,

  15. `username` varchar(12) NOT NULL,

  16. `password` varchar(30) NOT NULL,

  17. PRIMARY KEY (`id`),

  18. KEY `idx-username` (`username`)

  19. ) ENGINE=InnoDB AUTO_INCREMENT=150 DEFAULT CHARSET=utf8;


  20. /*Table structure for table `user_2` */


  21. DROP TABLE IF EXISTS `user_2`;


  22. CREATE TABLE `user_2` (

  23. `id` int(12) NOT NULL AUTO_INCREMENT,

  24. `username` varchar(12) NOT NULL,

  25. `password` varchar(30) NOT NULL,

  26. PRIMARY KEY (`id`),

  27. KEY `idx-username` (`username`)

  28. ) ENGINE=InnoDB AUTO_INCREMENT=147 DEFAULT CHARSET=utf8;


  29. /*Table structure for table `user_3` */


  30. DROP TABLE IF EXISTS `user_3`;


  31. CREATE TABLE `user_3` (

  32. `id` int(12) NOT NULL AUTO_INCREMENT,

  33. `username` varchar(12) NOT NULL,

  34. `password` varchar(30) NOT NULL,

  35. PRIMARY KEY (`id`),

  36. KEY `idx-username` (`username`)

  37. ) ENGINE=InnoDB AUTO_INCREMENT=148 DEFAULT CHARSET=utf8;

本案例还是在上一篇文章的案例基础之上进行改造,工程的目录和pom的依赖见上一篇文章或者源码。在工程的配置 文件application.yml做Sharding-JDBC的配置,代码如下:

  
  
  1. sharding:

  2. jdbc:

  3. dataSource:

  4. names: db-test0,db-test1,db-test2

  5. db-test0: #org.apache.tomcat.jdbc.pool.DataSource

  6. type: com.alibaba.druid.pool.DruidDataSource

  7. driverClassName: com.mysql.jdbc.Driver

  8. url: jdbc:mysql://10.0.0.3:3306/cool?useUnicode=true&characterEncoding=utf8&tinyInt1isBit=false&useSSL=false&serverTimezone=GMT

  9. username: root

  10. password:

  11. maxPoolSize: 20

  12. db-test1:

  13. type: com.alibaba.druid.pool.DruidDataSource

  14. driverClassName: com.mysql.jdbc.Driver

  15. url: jdbc:mysql://10.0.0.13:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT

  16. username: root

  17. password:

  18. maxPoolSize: 20

  19. db-test2:

  20. type: com.alibaba.druid.pool.DruidDataSource

  21. driverClassName: com.mysql.jdbc.Driver

  22. url: jdbc:mysql://10.0.0.17:3306/cool?useUnicode=true&characterEncoding=UTF-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT

  23. username: root

  24. password:

  25. maxPoolSize: 20

  26. props:

  27. sql:

  28. show: true

  29. sharding.jdbc.config.sharding.tables.user.actual-data-nodes: ds_0.user_$->{0..3}

  30. sharding.jdbc.config.sharding.tables.user.table-strategy.standard.sharding-column: id

  31. sharding.jdbc.config.sharding.tables.user.table-strategy.standard.precise-algorithm-class-name: com.forezp.sharedingjdbcmasterslavetables.MyPreciseShardingAlgorithm


  32. sharding.jdbc.config.sharding.master-slave-rules.ds_0.master-data-source-name: db-test0

  33. sharding.jdbc.config.sharding.master-slave-rules.ds_0.slave-data-source-names: db-test1,db-test2


  • 在上面的配置中,sharding.jdbc.dataSource部分是配置的数据源的信息,本案例有三个数据源db-test0、db-test1、db-test2。



  • sharding.jdbc.config.sharding.master-slave-rules.ds0.master-data-source-name配置的是主库的数据库名,本案例为db-test0,其中ds0为分区名。



  • sharding.jdbc.config.sharding.master-slave-rules.ds_0.slave-data-source-names配置的是从库的数据库名,本案例为db-test1、db-test2。



  • sharding.jdbc.config.sharding.tables.user.actual-data-nodes配置的分表信息,真实的数据库信息。ds0.user$->{0..3},表示读取ds0数据源的user0、user1、user2、user_3。



  • sharding.jdbc.config.sharding.tables.user.table-strategy.standard.sharding-column配置的数据分表的字段,是根据id来分的。



  • sharding.jdbc.config.sharding.tables.user.table-strategy.standard.precise-algorithm-class-name是配置数据分表的策略的类,这里是自定义的类MyPreciseShardingAlgorithm。


MyPreciseShardingAlgorithm是根据id取模4来获取表名的,代码如下:

  
  
  1. public class MyPreciseShardingAlgorithm implements PreciseShardingAlgorithm<Integer> {


  2. @Override

  3. public String doSharding(Collection<String> availableTargetNames, PreciseShardingValue<Integer> shardingValue) {

  4. for (String tableName : availableTargetNames) {

  5. if (tableName.endsWith(shardingValue.getValue() % 4 + "")) {

  6. return tableName;

  7. }

  8. }

  9. throw new IllegalArgumentException();

  10. }


  11. }

测试

写一个API来测试,代码如下:

  
  
  1. @RestController

  2. public class UserController {


  3. Logger logger= LoggerFactory.getLogger(UserController.class);


  4. @Autowired

  5. private UserService userService;


  6. @GetMapping("/users")

  7. public Object list() {

  8. return userService.list();

  9. }


  10. @GetMapping("/add")

  11. public Object add() {


  12. for(int i=100;i<150;i++) {

  13. User user = new User();

  14. user.setId(i);

  15. user.setUsername("forezp"+(i));

  16. user.setPassword("1233edwd");

  17. long resutl= userService.addUser(user);

  18. logger.info("insert:"+user.toString()+" result:"+resutl);

  19. }

  20. return "ok";

  21. }

  22. }

启动Spring Boot工程,在浏览器上执行localhost:8080/add,然后去数据库中查询,可以看到user0、user1、user2、user3分别插入了数据。 然后访问localhost:8080/users,可以查询数据库中四个表中的所有数据。可见Sharding-JDBC在插入数据的时候,根据数据分表策略,将数据存储在 不同的表中,查询的时候将数据库从多个表中查询并聚合。

在数据库的主机的日志里面,可以看到查询的日志也验证了这个结论,如下:

  
  
  1. 2019-06-20T02:50:25.183174Z 2030 Query select @@session.transaction_read_only

  2. 2019-06-20T02:50:25.193506Z 2030 Query INSERT INTO user_2 (

  3. id, username, password

  4. )

  5. VALUES (

  6. 134,

  7. 'forezp134',

  8. '1233edwd'

  9. )


  10. ...省略

从库查询日志:

  
  
  1. 2019-06-20T02:41:28.450643Z 7367 Query SELECT u.* FROM user_1 u

  2. 2019-06-20T02:41:28.450644Z 7366 Query SELECT u.* FROM user_0 u

  3. 2019-06-20T02:41:28.461238Z 7367 Query SELECT u.* FROM user_3 u

  4. 2019-06-20T02:41:28.462188Z 7366 Query SELECT u.* FROM user_2 u

源码

https://github.com/forezp/SpringBootLearning/tree/master/sharding-jdbc-example/shareding-jdbc-master-slave-tables

参考资料

https://github.com/apache/incubator-shardingsphere-example/releases/tag/3.1.0.M1

https://shardingsphere.apache.org/document/current/cn/overview/

https://github.com/apache/incubator-shardingsphere

https://mp.weixin.qq.com/s/VlJ3oN0Us2eZPk0sDT7w


热门内容:


感谢搓一下“在看

本文分享自微信公众号 - 方志朋(walkingstory)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部