中国数据库技术大会（DTCC2023）
2023年8月16日~18日，由IT168联合旗下ITPUB、ChinaUnix两大技术社区主办的第14届中国数据库技术大会（DTCC2023）将在北京国际会议中心隆重召开。大会以“数智赋能 共筑未来”为主题，紧跟时代步伐，引领前沿技术，设置2大主会场，20+技术专场，将邀请超百位行业专家，重点围绕HTAP与多模数据库应用、图数据技术、海量数据架构下的应用实践、云原生数据库、异构环境下的数据管理工具创新等内容展开分享和探讨，为广大数据领域从业人士提供一场年度的饕餮盛宴。
58同城数据架构部资深研发工程师李营、王世发受邀分享，分别进行主题为《数据湖技术在58同城的探索与实践》、《OLAP管理平台的落地与实践》的分享。
会议信息
会议名称：中国数据库技术大会（DTCC2023）
会议时间：2023年8月16-18日
分享嘉宾
个人介绍：
李营，58同城数据架构部资深研发，主要负责hbase平台、数据湖平台、hadoop跨机房平台的研发。
演讲主题：数据湖技术在58同城的探索与实践
演讲简介：
随着业务数据需求更加的多样化，对实时性、节省成本（人力、资源）等方面的要求越来越高，对大数据平台的业务架构和技术架构提出了越来越高的挑战。随着数据湖、湖仓一体等概念都已经被炒得火热，58大数据团队在原有数据平台基础上融合了数据湖技术（Iceberg & Hudi），初步实现湖仓一体，解决业务场景的痛点问题，比如mysql数据抽取，数据时效性从5～6H减少到了最大10min，大大降低了数据延迟。本次分享主要会从数据湖平台建设和业务数据架构演进的视角，分享数据湖技术在58业务模式多元化情况下的应用与实践。
分享大纲：
1. 数据湖技术发展现状
2. 58数据平台介绍
3. 58数据湖平台建设
4. 落地实践与效果
5. 相关总结
分享要点：
1. 58数据湖平台建设相关
2. 数据湖技术在原有数仓架构上融合
3. 业务应用案例与效果
分享内容
个人介绍：
王世发 58同城 数据架构部资深研发工程师，多年大数据平台工作经验，目前就职于58同城数据架构部，主要负责OLAP组件的开发落地及维护工作，包括ClickHouse和StarRocks。
演讲主题：OLAP管理平台的落地与实践
演讲简介：
OLAP管理平台作为数据平台对外提供的重要服务，提供的功能包括离线及实时数据接入ClickHouse/StarRocks集群、补历史数据、查询监控及集群管理等功能。业务方只需要提交一个接入工单，即可完成自动建表，并且自动生成数据导入任务并周期导入数据到ClickHouse/StarRocks集群中的操作。得益于快捷方便的业务接入能力，目前该平台已服务于集团15+个业务线，已接入表1300+，整体数据量已将近1PB，典型业务场景包括：通用用户画像平台、通用日志系统、用户行为数据分析平台等。为了响应公司降本增效的号召，年初开始也陆续将原有Kylin/Druid数据迁移到了ClickHouse/StarRocks集群，迁移共涉及15个业务线，将近1PB的数据，在保证查询效率的同时整体实现了降低机器成本224台。
本次分享内容主要包括平台简介、数据接入功能的整体实现方案、平台稳定性建设及典型业务场景介绍这几个部分。
分享大纲：
1. 管理平台简介
2. 数据接入功能的整体实现方案
3. 平台稳定性建设
4. 典型业务场景介绍
分享要点：
1. 数据接入功能的整体实现方案
2. 平台稳定性建设
3. 典型业务场景介绍
本文分享自微信公众号 - 58技术（architects_58）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
