随着互联网的发展,企业数据量爆发式增长,业务数据驱动愈发强烈,对数据时效性和灵活性提出更高的要求,针对如何高效解决海量数据高可靠传输、平滑扩容和资源隔离,如何同时满足离线和实时存储计算并能够轻松实现大数据治理,在本次专场中,58同城大数据团队为大家分享58在数据集成及数据湖方面的新技术探索和平台化实践经验。
出品人:吴培培 58大数据部负责人,技术委员会数据分会主席
主办方:DataFun、58同城
活动时间:6月22日,18:00-19:30
活动地点:DataFunTalk直播间

扫码入群收看直播
01 详细日程:
DataFunTalk技术交流会:58同城大数据新技术探索 出品人:吴培培@58同城 |
||
分享时间 |
分享内容 |
分享嘉宾 |
18:00-18:10 |
Opening |
58同城 吴培培 |
18:10-18:50 |
58数据集成平台的建设和实践 |
58同城 资深研发工程师 赵亮 |
18:50-19:30 |
数据湖技术在58的探索与实践 |
58同城 资深研发工程师 李营 |
02 详细介绍:
出品人:
吴培培 58大数据部负责人,技术委员会数据分会主席
分享嘉宾:
赵亮 58同城 资深研发工程师
演讲主题:58数据集成平台的建设和实践
演讲提纲:在万亿数据传输规模下,58数据集成平台是如何做到高可靠传输和平滑扩容,资源隔离,以及对新技术的探索。
1. 数据集成平台的背景介绍
2. 业务场景介绍
3. 平台架构和规模
4. 遇到的挑战和解决方案
5. CDC技术/全链路数据监控
6. Pulsar的建设
用户痛点:如何保证数据的高性能传输和链路监控。
听众收益:
1. 了解大规模数据传输下的分布式架构;
2. 在大规模数据传输架构下,如何保证高可靠传输和避免业务间的相互影响;
3. 新技术的引入和技术选型;
李营 58同城 资深研发工程师
演讲主题:数据湖技术在58的探索与实践
演讲提纲:主要介绍58数据湖平台建设体系,建设过程中遇到的问题和挑战,以及解决方案和优化工作。
1. 数据湖背景
2. 58数据湖平台
3. 优化实践
4. 收益&未来规划
用户痛点:
1. 如何提高数据的时效性;
2. 如何高效的upsert;
3. 如何低成本的进行表变更;
听众收益:
通过本次分享,可以了解到:
1. 数据湖建设遇到的问题和挑战以及相关解决方案和优化工作;
2. 数据湖技术的适用场景以及收益;
03 收看方式:

扫码入群收看直播
本文分享自微信公众号 - 58技术(architects_58)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。