数据交换工具 Exchangis 1.1.2 新版本发布

原创
2023/08/16 16:20
阅读数 577

Exchangis 简介

Exchangis 是微众银行大数据平台 WeDataSphere 与社区用户共同研发的的新版数据交换工具,支持异构数据源之间的结构化和非结构化数据传输同步。

Exchangis 还抽象了一套统一的数据源和同步作业定义插件,允许用户快速接入新的数据源,并只需在数据库中简单配置即可在页面中使用。

基于插件化的框架设计,及计算中间件Linkis,Exchangis 可快速集成对接 Linkis 已集成的数据同步引擎,将 Exchangis 的同步作业转换成 Linkis 数据同步引擎的数据同步作业。

借助于Linkis计算中间件的连接、复用与简化能力,Exchangis 天生便具备了高并发、高可用、多租户隔离和资源管控的金融级数据同步能力。


Github:https://github.com/WeBankFinTech/Exchangis


新版本内容说明

相比于Exchangis1.0.0,Exchangis1.1.2最大的特点是新增了DataX引擎并支持了Oracle数据源,同时修复了项目模块和任务模块中一些常见的问题,进一步提高了系统的稳定性。

Exchangis1.1.2 主要新增如下特性功能:

1、【作业引擎插件模块】新增DATAX引擎,支持多种数据导数链路

2、【项目管理模块】项目权限控制功能,支持同步DSS的项目权限到Exchangis

3、【数据源模块】新增Oracle数据源,支持与MySQL、Hive、MongoDB的双向导数,以及导入到ElasticSearch

4、【数据源模块】数据源连接敏感信息加密,支持属主进行连接信息加密

5、【作业配置管理模块】字段规则映射管理功能,支持对不同引擎和不同数据源的字段映射规则和字段匹配策略进行管理,并在加载作业时在前端进行渲染

6、【作业配置管理模块】后台存储引擎配置和映射函数,支持后台存储引擎的导数配置顾泽以及任务字段映射时的函数列表存储


新特性

  • [Exchangis Plugin Management Module] 新增DataX引擎

  • [Exchangis Project Module] 新增项目权限同步功能,将DSS项目权限进行同步

  • [Exchangis Datasource Server Module] 新增Oracle数据源

  • [Exchangis Datasource Server Module] 新增数据源连接敏感信息加密功能

  • [Exchangis Job Builder Module] 新增字段规则映射管理功能

  • [Exchangis Job Builder Module] 新增后台存储引擎配置和映射函数列表


功能增强

  • [Exchangis Project Module] 在前端页面将修改项目时的”项目名“设置为不可编辑

  • [Exchangis Project Module] 删除项目时校验是否有任务,有则不能删除项目

  • [Exchangis Job Execution Module] 任务执行时子任务执行进度统计优化,保证了进度数据的最终一致性

  • [DSS Dependency] 将DSS(DataSphereStudio)版本升级到1.1.2

  • [Linkis Dependency] 将Linkis版本升级到1.4.0,解决了引擎并发执行的一些问题


BUG修复

  • [Exchangis Job Info Module] 在编辑任务时前端自动回显“执行用户”值

  • [Exchangis Job Builder Module] 子任务名长度过长时运行任务失败的问题修复

  • [Exchangis Job Log Query Module] 查看非当天日志时系统异常的问题修复

  • [Exchangis Job Log Query Module] 查询日志异常后切换日志TAB页后页面持续打印报错的问题修复


贡献者

Exchangis1.1.2 的发布离不开Exchangis社区的贡献者,感谢所有的社区贡献者!


安装包

Exchangis1.1.2安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Exchangis/exchangis1.1.2/Exchangis1.1.2_install_package.zip


DSS1.1.2&Linkis1.4.0一键安装包:https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip 

— END —

如何成为社区贡献者

 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者


 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161


 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:


 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;


 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部