用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris

原创
2023/12/01 09:47
阅读数 49

背景

StarRocks 和 Doris 是近两年来非常流行的开源实时数仓,不仅数据检索、分析能力出众,而且数据准备能力性能好、准确度高,相当丝滑,可如同在线数据库般使用。

CloudCanal 在早期即支持此两种实时数仓,并且经过多次迭代,无论功能、性能、稳定性都趋于成熟。

这篇文章主要介绍如何使用阿里云 EMR for StarRocks/Doris作为 CloudCanal 数据源,快速、低成本接入业务数据,实现"极速一体"的实时数据分析体验。

云资源入口

  • 阿里云官网>产品>大数据计算>开源大数据平台 E-MapReducealiyun_emr_entry

  • EMR on ECS>创建集群, 选择数据分析 tabaliyun_emr_entry_2

创建并添加 Aliyun EMR for StarRocks

  • 选择一个 StarRocks 版本,点击下一步create_sr_1

  • 各个节点都挂载公网(如 VPC 内使用,则忽略),点击下一步doris_sr_pub_net

  • 查看 StarRocks be/fe 节点和端口, 和默认有所区别, 其中 fe 端口名称为query_port, 走 MySQL 协议, be 端口webserver_port, 可走 HTTP 协议(stream load)sr_fesr_be

  • CloudCanal 控制台>数据源管理>添加数据源, 选择添加自建 StarRocksadd_sr

创建并添加 Aliyun EMR for Doris

  • 选择一个 Doris 版本,点击下一步create_doris_1

  • 各个节点都挂载公网(如 VPC 内使用,则忽略),点击下一步doris_sr_pub_net

  • 查看 Doris be/fe 节点和端口, 和默认有所区别, 其中 fe 端口名称为query_port, 走 MySQL 协议, be 端口webserver_port, 可走 HTTP 协议(stream load)doris_fedoris_be

  • CloudCanal 控制台>数据源管理>添加数据源add_doris

使用

  • 创建 CloudCanal 任务,实时同步数据到 StarRocks/Doris
  • 使用 MySQL 客户端/CloudDM连接 StarRocks/Doris 进行检索分析体验

总结

本文主要介绍如何使用阿里云 EMR 快速体验 StarRocks/Doris 数据查询分析,步骤相对简单且价格低廉。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
0 评论
0 收藏
0
分享
返回顶部
顶部