在线峰会 | OLAP这么卷，趋势和未来在哪里？

Day 1：2023/06/10，09:00-12:30

出品人：王硕 美团 分布式计算技术专家

个人介绍：美团OLAP计算引擎负责人。有多年大数据开发经验，在美团先后负责离线计算引擎和OLAP计算引擎的开发和优化。

魏翔 美团 后端开发工程师

个人介绍：毕业于北京航空航天大学计算机技术专业，目前在美团基础研发平台，主要负责OLAP引擎的开发、性能优化相关工作，主要工作内容如下：spark load 导入优化、Doris 向量化改造、Bitmap 精确去重场景优化。

演讲题目：Doris Bitmap 精确去重优化实践

演讲提纲：

1. 相关背景介绍

   MPP架构下精确去重

   Bitmap 数据结构简介

   Bitmap 去重优化原则总结；

2. Bitmap 精确去重优化手段

   基于输入数据布局的优化

   结合 Doris 引擎的 Bitmap 优化；

3. 优化效果与总结

听众收益：

1. 结合Bitmap 数据结构特征，有哪些优化计算的基本原则？

2. 如何调整输入数据的组织形式，以提Bitmap 去重的查询效率？

3. 如何结合Doris 引擎，针对高基数Bitmap 聚合进行优化？

周明宏 SelectDB 高级研发工程师

个人介绍：博士毕业于中科院计算所。SelectDB 高级研发工程师，负责数据库核心引擎模块的研发工作，致力于引擎模块、存储模块以及新优化器的设计与开发；曾创立GPU数据库公司，在VLDB等顶级国际会议发表多篇论文；具有 20 年数据库内核领域的开发与设计经验。

演讲题目：Doris 新优化器背后的故事

演讲提纲：

1. 新优化器诞生记

   SQL 与其他语言的区别

   为什么需要新优化器

2. Nereids 解读

   SQL 的生命周期

   优化的本质

   Rules

   join reorder

   一切都是动态固话

   性能遇到了瓶颈

3. 挑战与思考

   公平与效率之争

   与误差同行

   与 BE 共舞

   颠覆者 Runtime-filter

听众收益：

1. 了解优化器实现中，我们填过的坑；

2. 理解优化器原理，帮助优化调优。

高大月 火山引擎 ByteHouse资深研发工程师

个人介绍：2020年加入字节跳动参与ByteHouse内核研发，目前负责ByteHouse的架构团队。在此之前曾担任美团OLAP引擎负责人，多个开源OLAP项目的Committer/PMC，有近10年的大数据和OLAP内核研发经验。

演讲题目：ByConity 对 ClickHouse 的存算分离实践

演讲提纲：

ByConity 是火山引擎 ByteHouse 团队研发并开源的云原生 OLAP 引擎。ByConity 采用存算分离架构解决了 ClickHouse 原生架构的诸多问题。本次分享将介绍 ByConity 的整体架构和亮点，以及存算分离的关键设计与实践。

听众收益：

1. ByConity 与其他开源 OLAP 系统相比有哪些独到之处？

2. ByConity 的存算分离架构有哪些关键设计？

3. 存算分离架构在实践过程中会遇到哪些问题，如何进一步优化？

李咸海 阿里云 计算平台事业部 研发工程师

个人介绍：硕士毕业于中国科学与技术大学，目前在阿里云负责 Starrocks 内核开发。

演讲题目：阿里云 EMR StarRocks 引擎产品化实践

演讲提纲：StarRocks 是新一代极速全场景 MPP（Massively Parallel Processing）数据库，致力于构建极速和统一分析体验。本次分享主要介绍 EMR StarRocks 在产品化过程中作出的优化。具体内容包括：

1. EMR StarRocks 简介

2. EMR Starrocks 在稳定性和可观测性方面的工作

3. 后续在实时数仓方面结合 paimon 和 binlog 的规划

听众收益：

1. 了解 EMR StarRocks 的架构和产品定位；

2. 如何提高运维能力；

3. 如何提高 OLAP 系统的可观测性。

周慧通 京东集团 技术研发与数据中心 数据应用工程师

个人介绍：2016年本科毕业后就职于中国工商银行软件开发中心担任软件开发工程师，负责业务集中处理系统研发工作，后就职于咪咕视频，担任技术架构师，负责魔百和增值业务系统。现就职于京东集团技术与数据中心，负责数据中台服务研发中心。

演讲题目：京东 one- service 数据服务体系建设

演讲提纲：

1. 历史的债

2. 当下的痛

3. 未来的喜

三大章节，分别讲述了京东数据服务发展的历程，历史上由于业务的极速扩张，导致数据服务的各自独立，无法融合，跨系统查询难度大，由此开始了数据服务一体化的建设路程。

听众收益：

1. 数据模型的治理

2. 数据服务的标准构建

3. 数据一体化能力的实现

4. 数据服务稳定性构建和发展

5. 高并发大促环境下，数据服务的鲁棒性
   

出品人：傅正佳 Alluxio 开源布道师

个人介绍：傅正佳，Alluxio 开源布道师。本科毕业于上海交通大学电子系，随后取得香港中文大学信息工程博士学位，毕业后加入新加坡高级数字科学中心（美国伊利诺伊大学在新加坡的研究所）从事科研工作，在计算机网络和分布式系统领域相关的顶级国际会议发表多篇论文。加入Alluxio前，傅正佳曾在新加坡科技公司Bigo Technology担任机器学习研发总监。

车赛光 Alluxio 解决方案工程师

个人介绍：10年专注于大数据研发和解决方案。

演讲题目：混合存储架构中的数据编排

演讲提纲：讲师会首先介绍 Alluxio 数据编排的技术原理和适用场景。然后着重介绍在混合云、混合存储架构中，如何实现基于 Alluxio 的数据联邦，为自治数据系统之间共享数据提供桥梁。

听众收益：

1. Alluxio 的最佳使用场景是什么

2. Alluxio 如何缓存数据并保证数据的一致性

3. Alluxio 如何帮助用户实现自治数据系统之间数据的共享

胡梦宇 知乎 数据平台开发工程师

个人介绍：2019 年加入知乎后一直从事大数据架构开发相关工作，主要工作内容集中于 Flink，HDFS，Alluxio。

演讲题目：多云缓存在知乎的演进

演讲提纲：随着云原生技术的飞速发展，多云架构已成为当今各大互联网公司的主流架构之一。如何在多个数据中心之间共享数据，是多云架构首先需要解决的问题。本次分享将以知乎的算法场景为主，介绍多云缓存在知乎的演进过程，以及多云缓存组件 Alluxio 在知乎的应用。

听众收益：

1. 了解多云缓存诞生的背景；

2. 多云缓存的方案选择；

3. 多云缓存组件 Alluxio 的应用于调优。

龙冉 矩阵起源 研发工程师

个人介绍：企业和垂直搜索引擎 Search Formula-1 的实时索引库，以及高并发 Succinct 索引库作者；目前负责 MatrixOne 计算引擎开发。

演讲题目：MatrixOne：HTAP 数据库中的 OLAP 设计

演讲提纲：

1. MatrixOne 整体架构介绍

2. MatrixOne OLAP 的设计细节

3. MatrixOne 如何隔离 AP 和 TP

4. MatrixOne 的实践应用场景

听众收益：

1. 了解从零打造的 HTAP 数据库 MatrixOne 的架构设计思路

2. 了解 OLAP 的难点和设计思路

3. 了解兼顾 AP 和 TP 的存储引擎如何设计

4. 解读 MatrixOne 的实际应用场景

张鑫 OceanBase 开源架构师

个人介绍：张鑫，OceanBase开源架构师。曾就职于互联网大厂和金融科技公司，主导过多项数据库升级、迁移、国产化落地等工作。拥有丰富的数据库管理经验，曾负责数据库一体化管控平台研发工作。对各类数据库系统有较深理解，目前深耕分布式数据库的研究与应用。

演讲题目：从 TP 到 AP，OceanBase OLAP 核心技术详解

演讲提纲：开源数据库 OceanBase 作为一款 HTAP 数据库已经广为人知，实际上，作为原生分布式数据库，OceanBase 从早期版本就具备较好的分析处理能力，近期发布的 4.1 版本，又进一步增强 AP 能力。本次分享将以用户实践案例为基石，主要介绍 OceanBase 数据库核心特性，以及如何在做到极致 TP 的情况下，又具备 AP 的能力，从优化器的各种优化逻辑，到执行引擎的分布式并行执行。

听众收益：

1. 了解 OLAP 与 OLTP 的场景差异和设计差别

2. 了解 HTAP 数据库关键技术和设计权衡

3. 如何更好应用 OceanBase 数据库解决实时数据分析问题

出品人：程广旭 腾讯 TEG 数据平台部 专家工程师

个人介绍：腾讯大数据 OLAP 平台技术负责人，Apache HBase/InLong PMC 成员，有10年大数据相关工作经验，专注在 OLAP 领域及 KV 存储。

演讲题目：天穹OLAP：实时湖仓融合平台架构实践

演讲提纲：本次分享将会介绍基于天穹 OLAP 平台的实时湖仓融合架构。主要内容包括：

1. 为什么需要湖仓融合？

2. 天穹 OLAP 实时湖仓融合新架构

3. 未来展望及规划

听众收益：

1. 了解天穹 OLAP 实时湖仓融合方案

2. 实时湖仓融合的优势及经典案例分享

喻奎 阿里云智能 高级技术专家

个人介绍：哈工大本硕毕业后，进入阿里巴巴云智能集团工作近10年，一直从事大数据分布式计算分析引擎的设计开发工作，重点从事MaxCompute SQL引擎从0到1各个版本的重构设计优化工作。

演讲题目：MaxCompute湖仓一体方案新能力

演讲提纲：

1. MaxCompute 增量处理框架揭秘

2. MaxCompute SQL引擎物化视图新能力介绍

3. MaxCompute SQL引擎Adaptive执行架构揭秘

听众收益：

1. 了解MaxCompute 增量处理框架的原理和功能，包括Upsert，timetravel，增量查询等能力

2. 了解MaxCompute SQL引擎物化视图的智能推荐以及自动化等新能力

3. 了解MaxCompute SQL引擎Adaptive执行架构的原理和新功能

黄权隆 Cloudera，Staff Software Engineer

个人介绍：黄权隆，Cloudera研发工程师，Apache Impala PMC 成员和 Committer，ORC Committer。毕业于北大计算机系，曾就职于Hulu大数据基础架构团队，参与大数据集群的维护、调优和二次开发。现就职于Cloudera，主要从事Impala系统的开发。

演讲题目：Impala 中的性能优化

演讲提纲：Impala 是一个高性能的 MPP 查询引擎，纯计算无状态的特性使其天然就适合数据湖的场景。本次分享将介绍 Impala 中的性能优化，包括 HashJoin 的优化、Codegen、内存管理等。

听众收益：

1. 数据湖查询引擎有哪些优化点可做？

2. Impala 如何优化 HashJoin 性能？

3. Impala 如何使用 Codegen 优化查询？

4. Impala 如何优化内存管理？
   

彭江涛 炎凰数据 研发工程师

个人介绍：毕业于上海交通大学，一直从事数据处理和数据分析相关的系统研发工作。目前从事于查询引擎开发工作，包括查询解析、执行计划优化、查询调度等内容，致力于提供高效、准确和可扩展的查询引擎解决方案。

演讲题目：实时物化视图：加速大规模时间序列数据查询的利器

演讲提纲：

1. 探索实时物化视图的重要性及其在大规模时间序列数据处理中的查询加速作用

2. 揭示我们产品实现实时物化视图的关键方法，包括数据划分、自动聚合结果创建和维护，以及实时性更新

3. 对比其他实时物化视图产品的优劣，从性能、可扩展性和灵活性等方面进行分析

4. 展望实时物化视图的进一步应用，如智能路由等

听众收益：

1. 了解如何处理大规模时间序列数据时实现高性能的聚合查询

2. 了解物化视图的局限性，如何有效地利用物化视图加速查询

3. 了解实时物化视图的潜力和扩展性

王欢明 StarRocks 研发

个人介绍：在 StarRocks 主要负责开发查询引擎、物化视图等项目。

演讲题目：数据湖超车道：StarRocks 如何借助物化视图加速数据分析

演讲提纲：介绍 StarRocks 物化视图功能以及在数据湖分析场景的应用。

听众收益：

1. 物化视图的技术介绍

2. 如何使用物化视图

3. 如何加速数据湖分析

Day 2：2023/06/11，09:00-12:30

出品人：姜伟华 阿里云智能资深技术专家，实时数仓Hologres研发负责人

个人介绍：姜伟华，复旦大学博士，阿里云资深技术专家，花名果贝，阿里云产品实时数仓Hologres研发负责人，超过10年大数据研发经验，开源社区贡献者，曾创立国内最早的大数据发行版，领导知名公司大数据项目开源，他带领的团队创立了2个Apache开源项目，涌现出超过10名Apache Committer。

王奇 阿里云 高级技术专家

个人介绍：王奇，阿里云智能高级技术专家，花名慧青，阿里云产品实时数仓 Hologres 研发，超过8年大数据研发经验，目前主要聚焦于 Hologres 分布式、弹性计算等相关工作。

演讲题目：弹性计算在阿里云大数据 OLAP 上的实践与思考

演讲提纲：

1. 介绍目前大数据 OLAP 遇到的分析性能、资源隔离、高可用、弹性扩缩容等核心问题

2. 解析阿里云 Hologres 是如何解决极致性能、弹性、业务永续、性价比等核心刚需的最佳实践

3. 分享阿里云 Hologres 弹性计算组在弹性计算、资源隔离上的探索和创新

听众收益：

1. 大数据分析的几个阶段是什么

2. 大数据分析遇到的问题是什么

3. 大数据分析的核心刚需是什么

4. 如何解决这些大数据分析遇到的问题和核心刚需

5. 如何解决大数据分析的弹性问题

徐玉立 三七互娱 数据架构师

个人介绍：长期从事大数据和数据应用的研发工作。曾主导某互联网金融企业实时风控平台的产品研发，具有丰富的数据中台建设实践经验。现任三七互娱旗下子公司37手游的数据架构师，主要负责数据仓库和数据中台的建设工作，以及广告归因和广告投放等系统的架构设计。

演讲题目：37手游量子智能广告系统基于云原生 OLAP 的应用实践

演讲提纲：主要介绍37手游的业务背景及特点，量子系统的介绍及核心业务流程、业务价值，量子系统的技术架构的演进等，还介绍了37手游 OLAP 的实践以及37手游量子系统的一些未来规划。具体内容包括：

1. 37手游的业务背景

2. 37手游量子智能投放系统的实践

3. 37手游 OLAP 实践

4. 未来规划

听众收益：

1. 了解37手游广告投放系统的核心业务流程

2. 了解37手游量子系统的实践过程

3. 了解37手游在云原生 OLAP 的实践过程
   

杨探 亚马逊云科技 解决方案架构师

个人介绍：亚马逊云科技解决方案架构师，负责互联网行业云端架构咨询和设计。曾就职于 NTTDATA，服务国内、海外日企客户。

演讲题目：云原生 OLAP 之 Amazon Redshift

演讲提纲：

1. 初识 Amazon Redshift

2. Amazon Redshift 之联邦查询

3. Amazon Redshift 之 Spectrum

4. Amazon Redshift 之机器学习

听众收益：

1. 深入了解 Amazon Redshift 架构

2. 深入了解 Amazon Redshift 如何与其他亚马逊云科技服务集成，让客户轻松构建云上湖仓
   

李月/鄢文斌 聚水潭 高级大数据开发专家/资深大数据开发工程师

个人介绍：李月，十年数据库、大数据开发和技术架构经验，14年-21年阿里云工作经历，参与了淘宝单元化、集团上云、国际业务全球化等关键业务发展，21年加入聚水潭，主导数仓架构升级，商业化产品研发体系的搭建工作。鄢文斌，19年硕士毕业一直从事数据开发，目前在聚水潭主要负责数据产品的开发工作。

演讲题目：聚水潭云原生 OLAP 架构的最佳实践

演讲提纲：

1. 聚水潭数仓的构建之路

2. 数据智能产品介绍

3. 物流实时预警最佳实践

4. 云原生数仓的未来期望

听众收益：

1. 对于零售行业 Saas ERP 服务的有体系化认识

2. 对于零售电商场景商家工作流、业务痛点、数据智能产品价值有清晰的理解

3. 基于阿里云 OLAP 在线服务+实时分析一体化云原生数仓的理解和思考
   

李欣 诺亚财富 数据仓库总监

个人介绍：负责诺亚财富数据仓库建设，推动大数据技术在金融领域的落地和应用。之前主要工作：喜马拉雅、百姓网、Ebay 等，硕士毕业于同济大学。

演讲题目：诺亚财富金融数字化转型中 OLAP 的探索和实践

演讲提纲：

1. 诺亚财富简介

2. 复杂业务挑战：自建 OLAP 服务集群面临运维难、用数慢、数据割裂等问题

3. 技术选型：应对金融领域特征的 OLAP 选择

4. 金融业务案例：客户资产分析报告系统、自助取数平台、金融数据服务快速落地（API、明细数据、看板）

5. 最佳实践

听众收益：

1. 诺亚财富+阿里云金融OLAP最佳实践

2. 更简的架构，更快的查询，更低的成本

3. 一站式 OLAP 在金融数字化场景快速落地。

出品人：陈明雨 Apache Doris PMC

个人介绍：陈明雨，前百度资深研发工程师，Apache Doris PMC 成员。8年分布式系统研发经验，一直专注于分布式可扩展分析型数据库领域。

出品人：朱凯 明源云 技术总监

个人介绍：资深架构师，开源爱好者，腾讯云TVP，Apache DolphinScheduler Committer、ClickHouse Contributor，《企业级大数据平台构建：架构与实现》、《ClickHouse原理解析与应用实践》作者，公众号《ClickHouse的秘密基地》运营者，ClickHouse 布道者。

贺钰城 联想 开源优化架构师

个人介绍：贺钰城，多年从事大数据平台架构设计、数据流量分析、数仓建设等关于数据中台建设方向，参与建立了 ClickHouse 中国开源社区 。2010年创建 ptmind 担任 CTO&技术合伙人，2019年加入易观数科担任合伙人。2021年加入联想 ，担任开源优化架构师。

演讲题目：ClickHouse 高可用实践

演讲提纲：ClickHouse 在联想的数据中台中如何落地已经在高可用方向的探索。

听众收益：

1. ClickHouse 在数据中台的落地

2. ClickHouse 数据同步的痛

3. ClickHouse 业务实践
   

李航宇 SelectDB 数据库内核研发工程师

个人介绍：毕业于南京师范大学， 曾在百度、字节跳动从事分布式存储研发工作，目前于 SelectDB 从事 Doris 数据库内核研发。

演讲题目：Doris 高并发实时查询核心技术

演讲提纲：随着越来越多的用户将 Apache Doris 用于构建企业内部的统一分析平台，我们需要面对处理和分析更大规模数据量和更高并发承载的要求。同时，我们也需要满足企业多样化的数据分析需求，从传统的统计报表、即席查询、交互式分析等场景，扩展到推荐、风控、标签画像和物联网等更多业务场景中。其中，数据服务（Data Serving）是其中一类具有代表性的需求，指向用户或企业客户提供数据访问服务，通常是高并发的点查询。在过去，为了满足这类业务需求，通常采用不同的系统组件分别承载对应的查询访问。然而，这种架构复杂，存在冗余存储和高维护成本的问题。随着 Apache Doris 的发展，我们面临着如何更好地满足用户在高并发查询场景下的业务需求的挑战。在即将发布的 2.0 版本中，我们引入了一系列面向点查询的优化手段，极大地拓宽了 Apache Doris 在高并发场景下的能力边界。接下来，我将为大家介绍如何应对高并发查询的挑战，并详细阐述 Apache Doris 2.0 版本中引入的新特性。主要内容包括：

1. 如何应对高并发查询？

   A. 分区分桶裁剪

   B. 索引

   C. 物化视图

   D. Runtime Filter

   E. TOPN 优化技术

2. Apache Doris 2.0 相关新特性揭秘

   A. 行存格式，解决IO放大问题

   B. 点查询短路径优化

   C. 预处理语句优化

   D. 缓存优化

通过以上优化手段和新特性，Apache Doris 可以更好地应对高并发查询的需求，实现单节点上万 QPS 的并发支持。这将大大提升系统的查询性能，降低资源消耗，满足用户在数据服务场景下的业务需求。

听众收益：

1. 了解 Doris 中高并发技术， 更合理的建表，提升查询性能

2. 引入相关优化技术， 减少对 HBase 等系统的依赖，在 Doris 一套系统内解决问题

3. 了解 Doris 实时场景

吴建超 京东 架构师

个人介绍：毕业于西南大学，目前在京东主要负责 OLAP 内核研发和日常运维工作，对大数据系统尤其是 OLAP 系统有兴趣，RaftKeeper、ClickHouse、Poco 等项目活跃开发者。

演讲题目：RaftKeeper：构建跨机房高可用 OLAP 集群

演讲提纲：

1. RaftKeeper 项目简介

2. RaftKeeper 功能和架构

3. RaftKeeper 性能优化

4. OLAP 跨机房架构

听众收益：

1. RaftKeeper 分布式共识服务的研发与性能优化实践

2. OLAP 跨机房高可用架构

刘建波 腾梭科技 研发总监

个人介绍：8年金融科技从业经验、负责全流程产品研发及管理。

演讲题目：星云零售信贷基于 Doris 的 OLAP 演进之路

演讲提纲：

1. 数据需求的产生

2. OLAP 选型

3. Apache Doris 实践

4. 业务场景及技术方案

5. 未来规划

听众收益：

1. 小公司 OLAP 如何选型？

2. Apache Doris 实践

杨秋吉/梁健聪 货拉拉 OLAP负责人/大数据工程师

个人介绍：货拉拉大数据引擎组-大数据专家/大数据SRE组-大数据工程师。

演讲题目：货拉拉大数据 Doris 稳定性保障实践

演讲提纲：

1. 背景与挑战

   货拉拉介绍

   货拉拉大数据介绍

   货拉拉基于 Doris 的 OLAP 业务介绍

   Doris 稳定性保障目标与挑战

2. Doris 在货拉拉的稳定性保障实践

   稳定性能力保障

   流程规范保障

3. 总结&规划

   总结与思考

   后续规划

听众收益：

1. 了解货拉拉基于 Doris 的 OLAP 业务应用

2. 了解 Doris 引擎特点、掌握如何进行业务稳定性保障、服务稳定性保障

出品人：蔡聪辉 京东智能平台部 数据开发工程师

个人介绍：Apache Doris Committer & PMC，专注于 OLAP 技术领域，对 OLAP 技术的研发，应用和运维等有多年经验。

余志鹏 蚂蚁集团 高级技术专家

个人介绍：毕业13年，在阿里工作5年，主要负责Aliexpress营销平台的建设。在蚂蚁5年，一直在大数据领域，当前主要负责蚂蚁的数据分析平台（DeepInsight）的性能优化工作。

演讲题目：海量数据分析场景下的 OLAP 实践

演讲提纲：随着数字化转型的深入，企业越来越依赖数据进行决策，那么数据决策的效率就成为企业竞争力的关键。那么性能和决策效率之间有什么关系呢？为什么性能问题会成为决策效率的关键？蚂蚁海量的数据场景下，是如何解决这些性能问题的。本次分享的主要内容包括：

1. 蚂蚁分析场景的性能问题

2. 过去如何解决这些问题

3. 当下我们的解决方案

4. 未来可行的一些方案

听众收益：

1. 了解蚂蚁场景下的分析特点，可能跟你这边的场景类似。

2. 现在蚂蚁的一些解决方案可能对你有所启发。
   

魏祚 小米集团 数据库内核研发工程师

个人介绍：魏祚，小米集团数据库内核研发工程师、Apache Doris Committer & PMC，在小米集团负责 OLAP 系统的研发、优化和运维工作。

演讲题目：小米集团基于 Apache Doris 的 OLAP 实践

演讲提纲：Apache Doris 在小米集团有着广泛的应用，支持了小米内部近百个核心业务，并且在小米内部已经形成了一套以 Apache Doris 为核心的数据生态。本次演讲将重点分享 Apache Doris 在小米的使用情况以及 Apache Doris 在小米 OLAP 场景的应用实践。

听众收益：

1. 了解 Apache Doris 在小米集团的使用情况。

2. 了解大数据场景下的 OLAP 解决方案。

琚克俭 火山引擎 EMR 研发工程师

演讲题目：OLAP 在火山 EMR 的实践

演讲提纲：

1. 火山 EMR 的产品定位

2. OLAP 的云原生能力

3. OLAP 的引擎能力

4. EMR 客户实践

5. 未来规划

听众收益：云上 OLAP 的优势和 OLAP 的选型