Apache DolphinScheduler社区新晋Committer:伏长海的开源之旅

原创
01/22 17:21
阅读数 18

**文章作者:**伏长海

文章整理:曾辉

个人介绍

大家好,我是伏长海,目前在珍岛集团担任大数据开发工程师职位!

**GitHub ID:**fuchanghai

file

在算法平台后端的研究领域耕耘了三年,任务调度方面也有一年半的深入探索。闲暇时,平时喜欢睡懒觉,偶尔阅读书籍,以此充实自己的生活。

为社区做了哪些贡献?

因为在公司的工作主要是针对Apache DolphinScheduler的原生功能进行二开,所以工作中产出的Feature是无法贡献的,目前对社区的贡献大部分都是一些Bug Fix

主要是修复了几个核心流程的Bug和improvement,以及多种任务插件的bug

  1. 对DataX ,SUB_PROCESS 这两种类型任务的优化,bugfix,DAG相关优化

  2.  以及相关联的PR的Review  #14563 #13206;

  3. 对于流程提交报错,导致Master无限循环提交,最终导致服务不可用的修复(Bug 级别较高)#15092 #13051;

  4. 集成Springdoc-open-ui #12379;

  5. 协助楚枫对UT相关的修改#12328,对部分类的功能拆分,对新增数据源,

    v2版本接口的Review,;

  6. 部分缺失文档的补充;

  7. 3.1.8 发版时,对SQL升级脚本的验证,对缺失的SQL的Fix,及部分缺失PR 的Cherry-pick;

  8. 布道Apache DolphinScheduler,以及在微信和Slack,的解答,issue 的回复;

  9. 对K8s task 部分功能的新增,Bug Fix;

社区结缘

其实我与Apache DolphinScheduler能够结缘,是出现了太多的巧合,当初我项目组领导给我的第一个任务是将Apache DolphinScheduler部分接口的接口文档提供给其他业务模块,但是我也是第一次接触Apache DolphinScheduler,看到有UT,就想试着根据UT的参数去熟悉各个接口的功能,但是调试的第一个UT就有问题,**于是乎就提了个PR,**本以为和Apache DolphinScheduler 的缘分就到这!

后来某次业务的版本迭代,有个功能在其他模块中做会很麻烦,当时对Apache DolphinScheduler也已经有了一定的了解,结合当时的经验,我觉得这个可以放在Apache DolphinScheduler中做,于是给产品和领导提了个建议,最后还真做成功了。

后来越来越多的需求需要修改Apache DolphinScheduler 的源码,从此在公司中就专门做Apache DolphinScheduler还有相关的task plugin的工作了~

社区初印象

我对Apache DolphinScheduler社区的第一印象是友好互助,耐心。社区中不缺乏BAT,以及清北复交名校的大佬,但是我从来没有感觉到他们高高在上,反而乐于帮我解决问题。社区解决问题,永远先考虑是否优化或者解决了问题,是否还有更优的方式,不会因为对架构改动过大,瞻前顾后推脱不去修改。

我第一次深度参与开源,就是Apache DolphinScheduler项目,我觉得吸引我的地方是,社区中大家友好的互相帮助,通过和大家交流,我能得到更好的方案去解决我遇到的问题!

使用场景

在珍岛集团,我们使用Apache DolphinScheduler来满足人群标签、算法分析、数据抽取和可视化建模等多种需求。将Apache DolphinScheduler的实例信息与业务模块解耦,以及实时任务的调度。

特别是在k8s环境下,DolphinScheduler展现出良好的兼容性,能够在不关闭k8s任务的情况下进行有效的任务起停和监控。

我觉得调度中心最关键就是稳定,期望以后Apache DolphinScheduler能够将实时任务做的更好,期望代码结构在中版本的升级中能稳定下来

让我们一起恭喜他!!

本文由 白鲸开源科技 提供发布支持!

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部