拥抱开源,共建未来--WeDataSphere 开发者社区首次线上Meetup活动回顾

原创
2020/03/23 15:22
阅读数 2.6K

 本周一,微众银行开源的一站式金融级大数据平台套件WeDataSphere(简称WDS),成功组织了首次开发者社区的线上meetup,邀请了包括BOSS直聘、天翼云、艾佳生活、海康威视、mobtech、招联金融等在内的18WDS开源社区开发贡献者单位参会

 

 

会议就WDS开源项目Contributing 规范、已开源组件2020年开发规划、新组件开源计划等议题,进行了深入的沟通探讨,并对社区开发者提出的问题进行了回答讨论。具体议题如下:1. WeDataSphere 社区Contributing 规范发布;
2. LinkisDataSphereStudioQualitis 2020年规划沟通;
3. WeDataSphere 新组件开源计划介绍;
4. 问答环节。

 

 

01

WeDataSphere 社区Contributing 规范发布

 

 

会上,微众银行大数据平台负责人邸帅首先介绍了WeDataSphere各开源项目的Contributing规范。各项目的Contributing规范主体内容一致,重点强调了“3个规范,2个标准”,即分支规范、开发规范、PR规范,及文档标准和review合并标准。并指出WDS社区秉持开放共建态度,将持续、主动引导社区用户参与贡献,并根据贡献遴选更多CommitterCommittee。以计算中间件Linkis项目的Contributing规范为例:

https://github.com/WeBankFinTech/Linkis/blob/master/Contributing_CN.md

 

02

LinkisDataSphereStudioQualitis 2020年规划沟通


 

随后,WeDataSphere核心开发人员尹强、王和平和叶家豪,分别介绍了WDS已开源组件:数据应用开发管理门户DataSphereStudio、计算中间件Linkis和数据质量校验管理工具Qualitis2020年开发规划,如下图。其中标黄的为较高优先级特性。

1. 数据应用开发管理门户DataSphereStudio 2020年开发规划

2. 计算中间件Linkis 2020年开发规划

3. 数据质量校验管理工具Qualitis 2020年开发规划

 

 

 

 

03

WeDataSphere 新组件开源计划介绍

 

关于WeDataSphere套件中新组件的开源计划,邸帅表示数据交换管理系统Exchangis、工作流调度系统Schedulis容器化机器学习协同开发环境MLLabis,计划会在2020年开源。其中:

Exchangis是微众的统一数据交换管理系统,可支持关系型数据库、文件服务器和大数据平台的多种存储引擎间,多种数据源间的数据交换,和图形化、模板化的数据交换任务配置管理,并将支持限速、多路分发等高级功能。且可与DSS无缝集成。预计2020年上半年将开源。

Schedulis是微众基于Azkaban二次开发的工作流调度系统,在多租户、高可用、高级调度策略等方面做了诸多改进,且可与DSS&Linkis无缝集成,已支持微众内部大量的金融业务生产应用调度。预计2020年上半年将开源。

MLLabis是微众的容器化、多版本支持的机器学习协同开发环境,基于JupyterHub二次开发,在多租户隔离、代码管理、作业管理、对接计算存储引擎扩展等方面做了诸多改进,且可与DSS&Linkis无缝集成。预计2020年下半年开源。

最后的问答环节,来自Boss直聘的朱辉、中国电信的王小刚、众安科技的刘亚强等大数据技术专家和开源贡献者,分别介绍了WeDataSphere在各自公司内的应用情况,并提出了各自关心的一些问题。微众银行的邸帅等同学就这些问题作出了回答了讨论。以下是部分问答的记录:

Q: Boss直聘当前是独立使用数据应用集成开发工具Scriptis+计算中间件LinkisLinkis是否会整合到DataSphereStudioDSS)项目中?

ALinkis是不会整合到DSS的,Linkis作为计算中间件用来连接打通上层工具和下层引擎,DSS是面向上层用户的一站式数据应用开发管理工具,是两个层面的能力。DSS底层依赖和对接Linkis,但不会和Linkis合并。

Q: Linkis没有独立的前端管理控制台,当前是整合在Scriptis项目里的?

A: 上半年会将Linkis的管理控制台页面,从Scriptis中拆分出来放到Linkis,使Linkis具备完善的图形化管理控制能力。

Q: 数据应用集成开发工具Scriptis,后续是否会和DSS进行深度绑定?

A: 是的。Scriptis已经且会继续作为DSS默认提供的组件,为用户提供更加一体化和沉浸式的数据应用开发体验。

Q: Linkis的命令行客户端,如何面向业务用户提供使用?

A: 微众现在也在进行推广中,已提供并将持续完善Linkis命令行客户端的方式。具体的规划会在四月份给出一个方案。

Q: Linkis的命令行客户端,是否会有关于计算量、结果集大小等使用场景的限制考量?

A:当前Linkis对于计算资源和结果集的大小,在技术中不会有约束。典型生产的数据应用工作流,中间结果一般都是生成一个表或者是hdfs的文件,而不会返回到客户端,所以对计算量、结果集的大小不会做技术限制。

Q: 数据交换管理工具Exchangis,对接关系型数据库,是否流式和批量数据同步功能都会支持?

 A: Exchangis会将基于binlog解析的流式数据同步,和基于JDBC的批量同步功能进行整合。

Q: 元数据管理、血缘管理的系统是否有开源计划

 A: 在微众行内是有一套WeDatamap数据地铁系统,主要做到了元数据管理、数据血缘、权限管理等功能。由于与行内的工作流审批系统深度依赖,目前没有还明确的开源计划。后面可能会将元数据管理等核心功能模块进行部分抽取开源。

Q: 测试案例比较少,文档还是比较少,在测试的方面需要更加完善。中国电信王小刚补充道他们现在正在积累部分测试案例和文档,后续会进行贡献。

A:测试案例、CI/CD是比较欠缺,在这块还有很多要补充完善的工资,非常欢迎大家能够多多贡献。

 

在进一步对个别具体组件功能和应用场景进行讨论后,WeDataSphere的首次开发者社区线上meetup就圆满结束了。2个多小时的线上meetup,既避免了疫情期间的聚集,也提供了一个很好的交流机会,促进了WDS开发者社区对项目开发演进规划的共识,明确了贡献共建的意向和目标。我们也看到了WeDataSphere社区,在开源开放氛围下,联合各家实力强劲的大数据平台团队,协作共建先进大数据平台套件的良好趋势。我们也非常期待会有更多的团队和个人,参与到WeDataSphere的共建共赢中来。

更多关于一站式金融级大数据平台套件WeDataSphere的信息,欢迎访问:

WeDataSphere门户网站  https://sandbox.webank.com/wds/portalis/#/map

WeDataSphere已开源项目托管地址 https://github.com/WeBankFinTech/WeDataSphere

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部