直播预告|数据湖实时化与智能化实践探索

2022/12/15 12:38
阅读数 354
2022年12月18日 9:00-12:50,由火山引擎云原生计算技术负责人李亚坤出品的 DataFunCon 2022 大会「实时与智能数据湖」专场将围绕数据湖技术的实时化与智能化展开深度分享。论坛全程直播,欢迎准时收看!
近年来,数据湖相关技术正在各大企业中得到越来越广泛的应用。数据湖技术优雅地解决了 传统 数仓 场景下遇到的数据孤岛、数据不支持更新、不支持 ACID 事务、数据实效性差等核心问题
 
在数据湖相关技术的发展中, 实时化智能化是当前的两个核心追求。其中,实时化可以让数据湖技术在数据产生后以最快的速度发挥价值,比如金融领域的实时风控、推荐场景的在线学习、企业内部实时运营(电商大屏,直播大屏等)。而智能化可以让数据湖技术在数据入湖,数据处理、数据出湖的各个阶段与周边生态更好地集成,让企业可以随心所欲地调动所有可调动的数据,用于报表、分析、搜索、建模、批流计算等业务场景。
 
2022年12月18日 9:00-12:50,由 火山引擎 云原生 计算技术负责人李亚坤出品的 DataFunCon 2022 大会 「实时与智能 数据湖 」专场全程直播,欢迎准时收看!
 
 

实时与智能数据湖论坛

议题简介

字节跳动湖平台在批计算和特征场景的实践

讲师:刘纬- 火山引擎 云原生 计算研发工程师
时间:12月18日 9:05-9:50
议题简介:
随着业务的发展,字节跳动特征存储已到达 EB 级别,日均增量 PB 级别,每天训练资源量级为百万 Core。随之而来的是内部业务方对原始数据存储、特征回填需求、降低成本、提升速度等需求的期待。本次分享将围绕以上业务需求展开:
1. 字节跳动数据湖选型,Why Iceberg,如:元数据能力强、多版本快照、分布式扫描计划等;
2. 字节跳动基于 Iceberg 的改造实战,从而解决上述问题,如:自研 MOR 的 Backfill,数据维护,平台化等;
3. 未来规划,包括物化视图、Self-Optimize、数据冷热分层等。
听众收益:
1. 了解字节在海量特征存储过程中碰到怎样的挑战,以及怎么去解决的?
2. 了解如何基于 Iceberg,节省40%以上存储成本,提升训练速度?
3. 了解字节在 Iceberg 上后续的迭代演进路线是怎样的?
 

快手基于流批一体打造高效数据湖

讲师:钟靓-快手 大数据 架构工程师
时间:12月18日 9:50-10:35
议题简介:
快手在数据建设中,如何通过打造流批一体数据湖,来为业务增效。将围绕四点展开:
1. 数据湖的定义、特点,架构如何实现以及应用的意义;
2. 使用 Hudi 构建流批一体数据湖的过程中,遇到的挑战和解决方案;
3. 结合实际的应用场景,来分享快手数据湖的实践案例;
4. 快手数据湖的发展规划。
听众收益:
1. 如何通过 Hudi 构建流批一体数据湖?
2. 如何使用数据湖来为业务实现降本增效?
3. 如何使用数据湖来解决数仓建设中的痛点?
 

基于流存储与数据湖打造小红书流批统一存储

讲师:张亿皓-小红书 数据平台 部消息 队列 负责人
时间:12月18日 10:35-11:20
议题简介:
1. Lambda 架构与实时数仓开发痛点
2. 流批统一存储架构介绍
3. 流批统一存储应用实践
听众收益:
1. 为什么需要流批统一存储?
2. 数据开发同学能获得什么?
3. 如何与 OLAP 引擎结合提升分析速度?
 

数据湖查询引擎架构和实践

讲师:梁华欣-金山云 大数据 产品中心研发专家
时间:12月18日 11:20-12:05
议题简介:
0. 数据湖查询引擎架构
1. 查询引擎功能增强:
1.1 动态加载 CataLog
1.2 多维度确保服务稳定性
1.3 数据访问权限控制
2. 不同查询引擎对于数据湖查询的差异和解决方案
2.1 底层实现原理比较
2.2 具体实例分析和解决方案
3. 查询性能提升方案探索
听众收益:
通过数据湖查询架构案例,分享不同查询引擎在数据湖上的表现差异和解决方案。
 

Apache Doris 极速数据湖分析

讲师:陈明雨-Apache Doris PMC
时间:12月18日 12:05-12:50
议题简介:
Apache Doris 是一款基于 MPP 架构的开源分析型数据库。依托其强大的并行处理能力和高性能算子,可以在海量数据集上提供亚秒级的交互式查询体验。而近年来,随着数据湖技术飞速发展,越来越多的企业开始依托数据湖技术构建其基础数据的存储架构,并利用数据湖提供的批流一体,事务隔离和数据更新能力,沉淀了大量企业数据。本次分享中将介绍如何基于 Apache Doris 对数据湖中的数据进行快速分析,以及 Doris 在多源数据联邦查询方面的技术内幕。
1. Apache Doris 简介及核心功能一览
2. Apache Doris 数据湖分析技术内幕
3. 基于 Apache Doris 构建统一的多源数据分析系统
4. Apache Doris 数据湖方向后续规划
听众收益:
1. 如何进行 OLAP 数据库选项?
2. 如何基于 Apache Doris 构建统一数据分析?
 

直播时间

12月18日 9:00-12:50

参与方式

 
识别二维码,免费报名
展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部