【活动回顾】Apache Linkis集成OceanBase的探索与实践

06/20 14:15
阅读数 77

公众号回复“活动资料0613“获取讲师分享材料



近日,Apache Linkis与OceanBase线上联合举办Meetup活动,主要讨论了Linkis的开源历程和OceanBase的发展历程、Apache Linkis与OceanBase的集成解决方案、以及其在数据存储和计算领域的应用案例。


下面,我们来一起回顾活动的精彩内容。


主题一:《OceanBase+Linkis全增量一体化数据集成方案》

分享嘉宾:郑晓锋 OceanBase技术专家

内容概要:

OceanBase的发展历程和特点
从2010到2022年,OceanBase经历了1.0到4.0的高速发展,完全自研的分布式数据库。支持原生分布式、单机分布式一体化、HTAP、MySQL平滑迁移、低成本、多租户等特性。

原生分布式

OceanBase 使用普通服务器和数据中心网络组成的 Shared-nothing 集群部署,无需基于专用网络环境的 SAN 存储设备。集群原生自动管理计算资源和存储资源的分配和动态资源均衡。支持弹性水平或垂直扩缩容,读写性能可线性扩展。所有服务节点都支持SQL计算和数据存储,每个节点自主管理所服务的分区数据。整个集群只有一种数据库服务进程,无外部服务依赖,运维管理简单。对外提供统一的数据库服 务,支持 ACID 事务和全局索引,对应用开发来说与单机无异。


HTAP 混合事务与实时分析处理

OceanBase 团队一开始就决定做基于“一个系统,一份数据”的 HTAP 数据库,以将性价比做到极致,希望在高性能 OLTP 数据库的基础上扩展 OLAP 的能力,很好地支持实时分析。OceanBase 通过原生分布式技术提供高性能的 HTAP 能力,真正通过“一个系统” 提供同时处理交易及实时分析,“一份数据”用于不同的工作负载,从根本上保持数据的一 致性并最大程度降低数据冗余,帮助企业大幅降低总成本。 


OceanBase的CDC组件

OceanBase 对于增量数据的获取提供了一些组件。因其本身是分布式数据库,那么它的数据在落到日志时也是分散状态。它提供了一个 obcdc 组件用于获取数据库日志。它会与 OceanBase server 端通过 RPC 进行交互,拉取到原始的日志信息。经过一定的处理后,可以吐出有序的日志流,下游再通过接入 obcdc 组件消费有序的日志流。

OceanBase和Links的结合

讲述了在增量同步中,如何结合使用Oceanbase和Links来管理不同类型的数据库和数仓产品。在这种场景下,底层应用和数据源是一个杂乱无章的网状结构,管理和开发都比较困难。Linkis在其中起到了计算治理和资源管控的作用,支持丰富的底层计算存储引擎。OceanBase 可以作为 Linkis 的数据源来做管理。同时,也可以使用Links平台来直接管理任务。这种结合可以极大简化开发、运维和管理工作。


主题二:《Apache Linkis 整合 OceanBase的实践》
分享嘉宾:郗世豪 Apache Linkis Committer
内容概要:
Apache Linkis与OceanBase的整合
介绍了Apache Linkis与OceanBase的整合以及OceanBase数据源配置。先简单介绍了Linkis的功能和架构,接着讲述了数据源配置,以及JDBC插件的访问。最后,作者以一个应用程序为例,说明了如何使用JDBC插件访问OceanBase。


介绍Spark ETL功能及其配置
主要介绍了Spark的ETL功能和与其他数据库进行跨云计算的能力。ETL功能是将数据从各种数据源中提取出来进行转换和加工,以降低用户对接和使用难度。支持各种数据源和目标系统,可以进行分析和转换操作。总体来说,Spark的功能可以用于数据加工和各种数据源之间的转换。


公众号回复“获取资料0613“获取讲师分享材料

— END —

如何成为社区贡献者

 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者


 代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161


 内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:


 社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;


 其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部