直播 | 数据服务全生命周期落地难,如何巧用数据集成框架解决困境?

2022/05/06 09:30
阅读数 24



进入数字经济时代,无论企业还是工程师都深刻地意识到,数据在生产过程中的地位愈发重要。被称为数字时代「石油」的大数据,蕴藏着巨大的价值和可能性,等待我们挖掘和利用。


众所周知,数据的生命周期分为采集、存储、整合、呈现与使用、分析与应用、归档和销毁等阶段。而数据集成则是数据全生命周期中至关重要的一环,关系着企业是否能够以最小的成本从数据中心获取最大的价值。


当数据资源成为生产发展乃至于生存过程中必不可少的要素,企业该如何通过数据集成帮助企业数据服务全生命周期落地呢?月 14 日,一站式数据集成平台  Apache InLong(Incubating)和数据集成框架 Apache SeaTunnel(Incubating)的技术专家、开源贡献者们一同来到直播间,与大家畅谈Apache InLong(Incubating) 与 Apache SeaTunnel(Incubating)相关的实践经历与心得体会。


在本次主题为「数据服务全生命周期落地实践」的 Meetup 上,来自腾讯、游族网络、白鲸开源等企业的高级工程师,将围绕 Apache InLong(Incubating) 与 Apache SeaTunnel(Incubating)在网络数据接入平台的设计实现、消息间件中的改进、API 重构与 PCG 大数据支撑系统的实施与优化等话题展开讨论与分享,以自身开发中遇到的困难与收获为蓝本,献上对应的解决方法与思考沉淀。

 

Apache InLong(Incubating) 与 Apache SeaTunnel(Incubating)均是 Apache 开源社区中的优秀项目。其中 Apache InLong(Incubating)是海量数据的一站式集成框架,提供自动化、安全可靠的数据传输能力。而 Apache SeaTunnel(Incubating)则是下一代高性能、分布式、海量数据集成框架,致力于降低学习成本,加速分布式数据处理能力的部署在生产环境中。

 

两款在同为数据服务领域的产品,能在交流中擦出怎样的火花呢?期待你亲临 月 14 日 Apache InLong(Incubating) & Apache SeaTunnel(Incubating)五月 Joint Meetup 直播间,与讲师近距离互动。在这里,您的疑问都将得到解答!

 

报名通道

Apache InLong(Incubating) & Apache SeaTunnel(Incubating)联合 Meetup | 5 月线上直播报名通道已开启,赶快预约吧!


时间:2022-5-14 14:00-17:00

线上直播


点击链接/扫码预约/点击阅读原文报名(免费):https://www.slidestalk.com/m/777



扫码预约报名


‍‍

扫码进直播群


活动议程



张晓栋 游族网络 高级大数据开发工程师

负责数据中心数据平台建设,主要是数据接入平台的相关开发工作


演讲时间:14:05-14:50

演讲题目:Apache SeaTunnel(Incubating)在游族网络数据接入平台的设计与实现

演讲概要:介绍如何在数据接入平台中集成 Apache SeaTunnel(Incubating) 及集成成果。



张国成 腾讯大数据 高级工程师

负责数据接入平台的相关开发工作


演讲时间:14:50-15:20

演讲题目:Apache InLong(Incubating)在消息中间件上的改进

演讲概要:介绍数据接入平台在日均消息接入量级过万亿条时所遇到的挑战、改进方案及效果。


15:20-15:30 抽奖和直播间福袋环节




李宗文 白鲸开源 高级工程师

Apache SeaTunnel(Incubating) & Flink Contributor, Flink CDC & Debezium Contributor


演讲时间:15:30-16:15

演讲题目:Apache SeaTunnel(Incubating) API 重构

演讲概要:为什么需要重构 Apache SeaTunnel API?如何重构 Apache SeaTunnel API?



卢春亮 腾讯 Atta 团队 高级工程师

负责腾讯 PCG 大数据采集、上报、传输、分发的基础大数据支撑系统开发


演讲时间:16:15-17:00

演讲题目:Apache InLong(Incubating)在腾讯 PCG 大数据支撑系统的实施和优化

演讲概要:介绍 Apache InLong 在应对异常故障和流量冲击的保护措施和自动化措施,降低丢失率和重复率,控制运维投入。


5 月 14 日 14:00,Apache InLong(Incubating) & Apache SeaTunnel(Incubating

Joint Meetup 期待您的到来,我们不见不散!


InLong 简介


InLong(应龙),中国神话故事里的神兽,引流入海,借喻 InLong 系统提供数据接入能力。


关于 InLong


Apache InLong(应龙)是腾讯捐献给 Apache 社区的一站式海量数据集成框架,提供自动、安全、可靠和高性能的数据传输能力,方便业务构建基于流式的数据分析、建模和应用。InLong 项目原名 TubeMQ ,专注于高性能、低成本的消息队列服务。为了进一步释放 TubeMQ 周边的生态能力,我们将项目升级为 InLong,专注打造一站式海量数据集成框架。Apache InLong 以腾讯内部使用的 TDBank 为原型,依托万亿级别的数据接入和处理能力,整合了数据采集、汇聚、存储、分拣数据处理全流程,拥有简单易用、灵活扩展、稳定可靠等特性。


Inlong活动官网:

https://inlong.apache.org/zh-CN/docs/next/introduction/


如何参与贡献:

https://inlong.apache.org/zh-CN/community/how-to-contribute


如何提交代码:

https://inlong.apache.org/zh-CN/community/how-to-commit


提交代码视频指引:

https://share.weiyun.com/nzO55yBD


Apache SeaTunnel(Incubating) 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。


仓库地址: 

https://github.com/apache/incubator-seatunnel


网址:

https://seatunnel.apache.org/


Proposal:

https://cwiki.apache.org/confluence/display/INCUBATOR/SeaTunnelProposal


Apache SeaTunnel(Incubating) 2.1.0 下载地址:

https://seatunnel.apache.org/download



腾源会是腾讯云成立的汇聚开源项目、开源爱好者、开源领导者的开放社区,致力于帮助开源项目健康成长、开源爱好者能交流协助、开源领导者能发挥领袖价值,让全球开源生态变得更加繁荣。

欢迎关注「腾源会」公众号,期待你的「在看」👇

本文分享自微信公众号 - 腾源会(TCOS001)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部