Spring boot项目集成Sharding Jdbc

原创
2019/02/22 17:22
阅读数 8.4K

环境

jdk:1.8
framework: spring boot, sharding jdbc
database: MySQL

搭建步骤

  1. 在pom 中加入sharding 依赖
<dependency>
    <groupId>io.shardingjdbc</groupId>
    <artifactId>sharding-jdbc-core-spring-boot-starter</artifactId>
    <version>2.0.3</version>
</dependency>
  1. 将原来的 spring DataSource 注释掉,加入 sharding 的配置
sharding:
  jdbc:
    datasource:
      names: ds_0,ds_1
      ds_0:
           type: com.zaxxer.hikari.HikariDataSource
           driver-class-name: com.mysql.jdbc.Driver
           jdbc-url: jdbc:mysql://sharding0
           username: mams_test
           password: mams_test
      ds_1:
           type: com.zaxxer.hikari.HikariDataSource
           driver-class-name: com.mysql.jdbc.Driver
           jdbc-url: jdbc:mysql://sharding1
           username: mams_test
           password: mams_test
    config:
      sharding:
        default-data-source-name: ds_0
        tables:
            task:
                actual-data-nodes: ds_${0..1}.task
                database-strategy:
                    inline:
                        sharding-column: id
                        algorithm-expression: ds_${id % 2}
                key-generator-column-name: id
            reverse_display:
                actual-data-nodes: ds_${0..1}.reverse_display
                database-strategy:
                    inline:
                        sharding-column: task_id
                        algorithm-expression: ds_${task_id % 2}
                key-generator-column-name: id
        props:
            sql.show: true

注:
这个配置只是针对分库,sharding jdbc 还支持读写分离,主从等模式,具体可以看文档sharding jdbc configuration

faq

  1. 只有网友的分享例子,没有文档

sharding jdbc 的链接 shardingjdbc.io 访问是不可用的,在码云上找到了一份文档,地址是sharding-jdbc-doc

  1. spring boot的 health check 显示为down

看了一下 DataSourceHealthIndicator 类的实现,要求 select 1 返回的大小为 1才认为数据库是健康的,但是经过分库之后,这个list size 应该了是数据库的数量,所以显示数据库为down。

可以将db 个health check关掉,配置management.health.db.enabled=false 即可。

不过这种情况下数据库如果挂掉的话注册中心是不知道的,需要定制一个自己的数据库检查类

@Component
public class CustomDataSourceHealthCheck extends AbstractHealthIndicator {
    private JdbcTemplate jdbcTemplate;
    private String databases;
    private int databaseCount;
    private String query = "SELECT 1 ";

    @PostConstruct
    public void init() {
        databaseCount = databases.split(",").length;
    }

    @Override
    protected void doHealthCheck(Health.Builder builder) throws Exception {
        try {
            List<Map<String, Object>> result = jdbcTemplate.queryForList(query);

            if (result.size() == databaseCount) {
                builder.up();
            } else {
                builder.down();
            }
        } catch (Exception e) {
            builder.down(e);
        }
    }

    public JdbcTemplate getJdbcTemplate() {
        return jdbcTemplate;
    }

    @Autowired
    public void setJdbcTemplate(JdbcTemplate jdbcTemplate) {
        this.jdbcTemplate = jdbcTemplate;
    }

    public String getDatabases() {
        return databases;
    }

    @Value("${sharding.jdbc.datasource.names}")
    public void setDatabases(String databases) {
        this.databases = databases;
    }

    public int getDatabaseCount() {
        return databaseCount;
    }

    public void setDatabaseCount(int databaseCount) {
        this.databaseCount = databaseCount;
    }

    public String getQuery() {
        return query;
    }

    public void setQuery(String query) {
        this.query = query;
    }
}

参考资料

  1. Spring Boot Actuator: Health check, Auditing, Metrics gathering and Monitoring
  2. Spring Boot Actuator Database Health Check
  3. Spring Boot+MyBatis+MySql+Sharding-JDBC实现分库分表
展开阅读全文
打赏
1
9 收藏
分享
加载中
实在感谢博主,集成sharding一直报错Cannot find table rule and default data source with logic tables: '[]',网上怎么找都找不到解决方案,原来是数据库health check的问题。
2019/12/17 12:40
回复
举报
虽然看到你这边配置了type是hikari,但是详细的连接池配置你没有配上去,使用默认的总会有不匹配的时候。
2019/11/15 17:25
回复
举报
52iSilence7博主
是的,这只是一个基本配置,属于上手可用的那种。如果用在生产环境中,连接池大小,timeout 等配置是和具体等机器配置相关的,不是普适的。可以从文档中查找相关配置属性。
2019/11/24 12:09
回复
举报
这个版本支持批量新增吗
2019/06/27 11:56
回复
举报
52iSilence7博主
没看明白,批量新增什么?
2019/06/28 15:19
回复
举报
批量插入数据和批量修改 有什么好的解决方案么
2019/07/30 14:46
回复
举报
52iSilence7博主
我使用的jpa,看了一下批量的实现就是循环。JDBCTemplate 有 batch 相关的 api,可以使用,不过可能需要你提前弄好好 id 与分区
2019/07/30 18:55
回复
举报
更多评论
打赏
7 评论
9 收藏
1
分享
返回顶部
顶部