干货分享 | HZERO系列组件之数据分发组件(二),ElasticSearch同步方案

原创
09/27 11:34
阅读数 1K

图片

上文我们讲述了利用数据分发组件如何进行广播表的数据分发,相信大家对数据分发也有了一定的了解,但是数据分发能做到的不仅仅是MYSQL表对表的同步,还有更多的适用场景,这里我们分享一个ElasticSearch同步方案。

同步方案概述

数据分发适用场景

本质上该工具是监控数据增量文件,进行增量数据分发,可以减少代码层面的埋点和开发,比较适合我们项目交付的场景:

1.大数据量查询瓶颈,关系型数据库MYSQL,当数据量达到一定量级时,查询会产生瓶颈,将数据分发至ES,利用ES的搜索特性可大幅提升查询性能;

2.业务产品和HZERO基础服务分数据库实例跨库查询问题,比如业务产品需要关联查询Iam_user用户表信息,除了使用Feign,还可以把Iam_user表分发到两个库中,在目标库直接Sql查询;

3.增量消息队列生产,监听Mysql binlog增量推送队列,可自定义消费者逻辑进行队列消费;

4.缓存数据同步,将Mysql数据同步至Redis,减少代码开发。

ElasticSearch同步方案

图片

以改造O2产品订单查询为例

现状:产品层面按“平台”进行划分,底层分为了四套订单表,每套表有大部分字段是一样的个别字段有区别,代码层面分为了四套策略,列表查询需要必输“平台”字段,才能确定查询走哪套表的查询策略。

改造目标:查询聚合到一处,”平台“字段设置为非必输,同时能满足未来大数据量增长的需求,保障查询性能。

MYSQL数据库分四张表:

    O2omc_jd_order

    O2omc_order

    O2omc_pub_order

    O2omc_tm_order;

Cloud Canal同步任务:全量同步、增量同步(秒级延迟)、个性化代码宽表处理;

ES汇聚为一个索引:将数据聚合至一处,Join查询字段做字段冗余,订单行表做嵌套文档;

列表查询:改造为ES语法,从ES索引中查询,O2产品有提供ES查询分页组件(比直接使用ES操作类方便);

详情查询:通过平台+ID,能够精确匹配到表和记录,仍然可从MYSQL查询。

 

ES查询索引构建

梳理查询字段

梳理界面上查询需要的字段,找出非订单表的字段,冗余到订单上,几种类型字段处理如下:

表上没有的字段:如果是前置流程产生的则直接宽表冗余,如果是后续流程的比如是否退货,则需要新增Mysql字段回写。

行表字段:做嵌套文档,比如SkuCodes。

新建ES索引

虽然配置任务时可默认生成索引,类型都是自动匹配,但建议索引手工创建,字段类型有保证,参考如下:

索引名称:Glzoms_omc_order_0,前缀建议能按业务类型划分,同一类命名相同,后缀为租户Id;

索引的Doc Id:目前是Order_code,四套表的Order_code全局唯一。

新建ES别名

使用别名:上线后有概率需要删除重建索引字段,由于索引全量同步任务需要一段时间,所以不建议查询直接操作索引,建议操作别名,切换时间比较短。

别名名称:Glzoms_omc_order_alias_0,跟索引名称规则基本一致,后缀为租户ID。

POST _aliases{  "actions" : [{"remove" : {"index" : "glzoms_omc_order_0" , "alias" : "glzoms_omc_order_alias_0"}}],  "actions" : [{"add" : {"index" : "glzoms_omc_order_0" , "alias" : "glzoms_omc_order_alias_0"}}]}

同步任务配置

新建MYSQL数据源

1.可以使用阿里云账号,也可以使用自建账号密码模式(一般习惯用账号密码模式,权限分配比较简单)

2.网络地址最好填写内网,避免网络延迟

3.按步骤填写后点击测试链接。

新建Elasticsearch数据源

1.可以使用阿里云账号,也可以使用自建账号密码模式(一般习惯用账号密码模式,比较简单)

2.网络地址最好填写内网,避免网络延迟,注意主要加上端口,ES默认为9200

3.配置完成后,列表页点击测试连接。

图片

新建订单同步任务

1.左边是来源,选择Mysql,选择订单所在的Schema,右边是目标,选择Es,高级配置保持默认

图片

2.根据实际选择任务的配置,一般选择第一个

3.不要使用自动创建的索引(映射的字段类型可能有问题),选择自己新建的索引

图片

4.创建任务

 

检查同步状态

图片

出错可以点击查看日志排查

图片

 

通过上述的数据分发配置步骤,能够把MYSQL的数据汇聚到ElasticSearch上,配合ElasticSearch分页查询组件,利用ElasticSearch优秀的查询性能,可以轻松支撑千万级别数据量的查询,同时ElasticSearch上的数据会随着MYSQL的改动而实时同步,也降低了数据操作的难度。

下篇我们将讲述数据分发组件之自定义代码处理,敬请期待。

 

下期预告

干货分享 | HZERO系列组件之数据分发组件(三),自定义代码处理

往期推荐

1汉得企业级数字化PaaS平台 HZERO 1.9.0 版本正式发布!

2汉得aPaaS低代码平台-飞搭 2.3.0 RELEASE正式发布!

3重磅发布 | 汉得iPaaS全域集成平台 集星獭 1.5.0 版本正式发布

4干货分享 | HZERO系列组件之辅助开发核心包,一招搞定开发!

5干货分享 | HZERO系列组件之消息管理组件,满足您的多种发送需求

6干货分享 | HZERO系列组件之数据分发组件(一),广播表快速入门

 

联系我们

产品试用请登录开放平台。请在 PC 端打开:

https://open.hand-china.com/market-home/trial-center/

产品详情请登录开放平台:

https://open.hand-china.com/document-center/

如有疑问登录开放平台提单反馈

https://open.hand-china.com/

图片

图片

▲ 更多精彩内容,扫码关注 “四海汉得” 公众号

展开阅读全文
加载中

作者的其它热门文章

打赏
1
1 收藏
分享
打赏
0 评论
1 收藏
1
分享
返回顶部
顶部