58技术沙龙第三十期|58同城大数据新技术探索

2022/06/21 11:18
阅读数 641

随着互联网的发展,企业数据量爆发式增长,业务数据驱动愈发强烈,对数据时效性和灵活性提出更高的要求,针对如何高效解决海量数据高可靠传输、平滑扩容和资源隔离,如何同时满足离线和实时存储计算并能够轻松实现大数据治理,在本次专场中,58同城大数据团队为大家分享58在数据集成及数据湖方面的新技术探索和平台化实践经验。


出品人:吴培培 58大数据部负责人,技术委员会数据分会主席

主办方:DataFun、58同城

活动时间:6月22日,18:00-19:30

活动地点:DataFunTalk直播间


扫码入群收看直播


01 详细日程:


DataFunTalk技术交流会:58同城大数据新技术探索

出品人:吴培培@58同城


分享时间


分享内容


分享嘉宾


18:00-18:10


Opening


58同城

吴培培


18:10-18:50


58数据集成平台的建设和实践


58同城 资深研发工程师

赵亮


18:50-19:30


数据湖技术在58的探索与实践


58同城 资深研发工程师

李营



02 详细介绍:

出品人:

吴培培 58大数据部负责人,技术委员会数据分会主席


分享嘉宾:

赵亮 58同城 资深研发工程师

演讲主题:58数据集成平台的建设和实践

演讲提纲在万亿数据传输规模下,58数据集成平台是如何做到高可靠传输和平滑扩容,资源隔离,以及对新技术的探索。

1. 数据集成平台的背景介绍

2. 业务场景介绍

3. 平台架构和规模

4. 遇到的挑战和解决方案

5. CDC技术/全链路数据监控

6. Pulsar的建设

用户痛点:如何保证数据的高性能传输和链路监控。

听众收益:

1. 了解大规模数据传输下的分布式架构;

2. 在大规模数据传输架构下,如何保证高可靠传输和避免业务间的相互影响;

3. 新技术的引入和技术选型;


李营 58同城 资深研发工程师

演讲主题:数据湖技术在58的探索与实践

演讲提纲:主要介绍58数据湖平台建设体系,建设过程中遇到的问题和挑战,以及解决方案和优化工作。

1. 数据湖背景

2. 58数据湖平台

3. 优化实践

4. 收益&未来规划

用户痛点:

1. 如何提高数据的时效性;

2. 如何高效的upsert;

3. 如何低成本的进行表变更;

听众收益:

通过本次分享,可以了解到:

1. 数据湖建设遇到的问题和挑战以及相关解决方案和优化工作;

2. 数据湖技术的适用场景以及收益;


03 收看方式:


扫码入群收看直播

本文分享自微信公众号 - 58技术(architects_58)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部