StreamPark 加入 Apache 孵化器以来已经发布了两个版本,带来了诸多的新功能和改进升级。目前 GitHub Star 共计 3.3 k,累计贡献者已达 100 余位,社区正在健康发展中,逐步走向成熟和自治,这一切的快速发展,都离不开背后默默付出的贡献者们,感谢所有参与的贡献者们,也欢迎更多的小伙伴们参与到社区共建。
新晋 Committer
周 利
海康威视 高级大数据工程师
非常荣幸被提名为 Apache StreamPark 的 Committer,感谢社区的认可,感谢参与过程中来自社区小伙伴的帮助。祝愿 StreamPark 越来越好,能够服务更多用户,能够在更多的机器上创造价值。
主要贡献
实现资源管理
开发资源管理模块,统一管理用户资源,并且将资源管理与应用进行集成,实现资源的复用,进一步提升平台上应用开发效率。
完善操作日志
进一步完善平台的操作日志,完整记录用户对作业的操作流程,使得作业的操作逻辑更加完整和自洽,产品体验更好。
提升安全性
完善了用户的权限控制,严格规范用户类型。升级和精简依赖库,解决了平台发行包中的中高危漏洞。
其他
参与代码 Review、修复了 StreamPark 之前存在的一些 Bug。
结缘社区
寄 语
新晋 PPMC member
穆纯进
联通数科实时计算团队负责人
我与社区的故事
StreamPark 实现了流计算作业的 “咖啡管理”,相比之前繁琐的操作,StreamPark 实现了一键打包、一键启动、一键跳转监控,自动跟踪状态... 节约了90% 以上的作业开发和管理运维时间,可以边喝咖啡边操作管理,幸福指数大大提升,这也是为什么越来越多的企业开始使用 Apache StreamPark 赋能业务的原因,我也深有体会,因为联通数科也是深度使用 StreamPark 的一员,内部业务从 StreamPark 中获得了巨大的支撑,很难想象我们每天处理万亿规模的数据、支撑着几十个内部和外部组织下用户使用、支撑了数万的数据服务订阅、支撑了500+ 的 Flink 作业,如果没有一个一站式的、稳定的、灵活的、高效的、操作简单的、经得起长时间生产环境考验的平台去管理和运维作业是个什么结果,在使用 StreamPark 之前我们一直在苦苦支撑,遇到了诸多挑战与困境,虽然现在我们内部项目实时计算的作业规模还在持续增长,但是基于 StreamPark 的管理越发从容,除了对大量的作业的高效的管理外,还很好的满足了 Flink 多版本支持的硬性需求,因为随着生产环境的作业越来越多,不可能版本完全一致,更不可能一刀切使用一个版本,因此极大的贴合了真实使用场景,满足了用户对新版本的必要需求;带给我们的另一个巨大的支撑和惊喜是基于 StreamPark 的一站式管理平台我们只用了 2 个小时就将几百个作业从一个 Hadoop 集群迁移到另一个 Hadoop 集群,期间零数据丢失、零作业漏迁、零故障产生,所以基于 StreamPark 我们有着巨大的信心面对未来的很多挑战。
加 入 我 们
StreamPark 是一个流处理应用程序开发管理框架。初衷是让流处理更简单,旨在轻松构建和管理流处理应用程序,提供使用 Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架,未来将支持更多其他引擎。同时,StreamPark 提供了一个流处理应用管理平台,核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等,最初开源时项目名称叫 StreamX ,于 2022 年 8 月更名[4]为 StreamPark,随后通过投票正式成为 Apache 开源软件基金会的孵化项目。
💁♀️ 社区沟通:
参考资料
[1] https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/deployment/advanced/historyserver
[2] https://github.com/apache/flink-kubernetes-operator
[3] https://streampark.apache.org/docs/user-guide/docker-deployment
[4] https://github.com/apache/incubator-streampark/issues/1335
[5] mailto:dev@streampark.apache.org
本文分享自微信公众号 - Apache StreamPark(Apache-StreamPark)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。