Apache SeaTunnel - OSCHINA - 中文开源技术交流社区

Apache SeaTunnel

Apache SeaTunnel 是一个非常易用的数据集成平台，每天可以稳定高效同步千亿级数据，已在腾讯云、Weibo、Shopee等数百家公司生产上使用。

认证官方账号

6K

经验值

6K

开源豆

关注私信

高性能分布式数据集成平台

85

连击天

fork: star:

加载中

在大数据分析和 AI/ML 时代，高效、稳定的数据同步与集成成为企业数据架构中的关键一环。Apache SeaTunnel 作为 Apache 顶级项目，专注于实时 & 离线数据集成，已广泛应用于数据仓库、数据湖...

数据集成 ApacheSeaTunnel Cloudberry Greenplum 数据仓库数据处理

03/28 11:18

56

📢 为什么要投稿？ Apache SeaTunnel 作为领先的数据集成平台，已经被广泛应用于各类数据同步、ETL 及数据仓库建设场景。我们非常清楚的知道，社区的发展离不开每一位开发者和使用者的经验...

数据集成 ApacheSeaTunnel ETL 流批处理数据治理实践经验

03/28 11:03

34

在数据仓库建设过程中，数据同步是一个关键环节。Apache SeaTunnel作为一个高性能的分布式数据集成工具，被广泛用于将MySQL数据同步到Doris等OLAP数据库。然而，如何优化这个同步过程，提高...

数据同步 ApacheSeaTunnel 优化策略并行度设置 JVM参数检查点配置

03/25 10:42

150

最近作者针对实时数仓的Apache SeaTunnel同步链路，完成了双引擎架构升级与全链路参数深度调优，希望本文能够给大家有所启发，欢迎批评指正！ Apache SeaTunnel 版本：2.3.9 Doris版本：2.0...

双引擎架构全链路参数架构升级批处理链路实时增量链路资源管控

03/20 12:20

87

本文来源于 OceanBase 数据库官方博客，目前 Apache SeaTunnel 2.3.9 已支持本文提到的所有功能，故原文2.3.7已全部修改为2.3.9 准备传输工具本方案采用 Apache SeaTunnel（简称SeaTunnel）...

ApacheSeaTunnel 数据迁移 MySQL OceanBase Zeta引擎 CDC方案

03/17 19:22

102

引言凌晨3点，某金融公司的数据工程师老王盯着屏幕上的报错信息陷入绝望——从32个分库同步的用户交易数据，在合并至中心MySQL表时，因主键冲突导致每天近10万条数据丢失。业务方投诉不断，...

分库分表主键冲突数据同步 Demo方舟计划 ApacheSeaTunnel 核心技术

03/14 11:56

69

文章作者：马全才奥克斯集团大数据工程师编辑整理：国电南自赵鸿辉白鲸开源曾辉本文详细演示了如何通过 Apache SeaTunnel 2.3.9 实现 **MySQL **到 PostgreSQL 的全量数据同步。非常感...

MySQL PostgreSQL ApacheSeaTunnel 数据同步 binlog 主从复制

03/13 18:52

108

本文详细演示了如何通过 Apache SeaTunnel 2.3.9 实现 PostgreSQL 14.6 到 Apache Doris 3.0.3 的全量数据同步，涵盖从环境部署到生产验证的完整闭环，请各位小伙伴批评指正！版本要求： Po...

ApacheSeaTunnel PostgreSQL ApacheDoris 数据同步集群部署 JDBC驱动

03/11 15:20

111

SeaTunnel 社区月报 2025-02期 “ 各位热爱 Apache SeaTunnel 的小伙伴们，SeaTunnel 社区月报来啦！” SeaTunnel 正在迅猛发展，这将有利于提升数据同步的高可扩展性、高性能及高可靠性。 ...

数据同步高可扩展性高性能高可靠性文档翻译连接器优化

03/09 18:48

100

时光飞逝，转眼间，Apache SeaTunnel 社区已经成为顶级项目快两周年了，其社区贡献者和用户群体也日益壮大。SeaTunnel 凭借其高性能和插件灵活的特性，已经成为国内众多知名企业数据同步的基...

ApacheSeaTunnel 数据湖插件化架构 Paimon连接器 SchemaEvolution CI效率提升

03/06 08:30

83

本文主要给大家介绍JDBC Source批处理任务动态切分优化，希望大家批评指正 JDBC Source 如果配置了table_path 和 partition_column，引擎会对数据进行动态切分，可以通过分析样本数据优化切分...

JDBCSource 动态切分数据倾斜切分区间全表切分性能优化

03/03 20:46

793

本文为白鲸开源科技CEO郭炜1小时深度访谈全记录来源于：开源之播」·Episode15:对话郭炜--乐观主义的开源精神走得更远大家好，我是郭炜，开源圈的“郭大侠”。作为 Apache 基金会的成员，我...

开源商业模式 Apache基金会白鲸开源数据调度 ETL 商业模式时间管理

02/26 16:15

283

文章作者王海林白鲸开源数据集成引擎研发 Apache SeaTunnel Committer & PMC Member，Apache SkyWalking Committer，多年平台研发经验，目前专注于数据集成领域。导读在当今数字化快速发...

数据集成实时数据同步 ApacheSeaTunnel 数据源数据目的地数据一致性

02/25 17:28

159

各位 Apache SeaTunnel 社区小伙伴们，大家好！我们将于 2025年2月25日（星期二）晚上8点举行 Apache SeaTunnel 双周会议。本次会议将涵盖最新的项目进展、技术讨论、社区动态等内容，欢迎...

ApacheSeaTunnel 双周会议技术讨论社区动态议题收集技术经验

02/25 15:17

72

引言凌晨2点，某电商公司的数据工程师小李正对着屏幕抓狂——业务部门临时要求将MySQL的订单表实时同步到PostgreSQL进行分析，众所周知，在数据驱动的业务场景中，异构数据源同步是高频刚需...

数据同步异构数据源 CDC同步 SeaTunnel Demo方舟计划实时同步

02/20 17:08

88

说明以下内容旨在帮助开发人员，快速了解熟悉SeaTunnel2.3.8程序框架，并能够进行JDBC连接器开发内容。必要知识在进行开发前，你一定要仔细阅读如下框架文档，它们存在于SeaTunnel源码中的...

SeaTunnel JDBC连接器开发流程 catalog包 dialect 类型转换

02/19 15:11

525

"设计一个能支撑万亿级数据同步的系统挑战有多大？来告诉你一个从0到1的故事..." 一个深夜的求助 2021年的一个深夜，正准备关电脑休息，一个运维电话打了进来： "救命！整个数据同步系统都崩...

数据同步万亿级数据 SeaTunnel Zeta引擎多引擎支持性能优化

02/18 12:49

232

Apache SeaTunnel 社区正在全球范围内寻找热爱开源、乐于分享的技术先锋！无论你是开发者、用户、布道者还是行业专家，这里都有属于你的舞台。欢迎社区👏有志之士加入我们，一起推动开源...

开源数据集成 ApacheSeaTunnel 技术交流布道师核心模块性能优化

02/13 09:22

103

缘起及背景在科技行业蓬勃发展的浪潮中，开源商业化宛如一颗闪耀却又充满争议的新星，备受瞩目。开源商业化在中国到底行不行？这是一个不仅被开源圈讨论了很久的话题，也是被行业讨论了很多...

开源 apache 开源社区 debug seatunnel dolphinscheduler 鸿蒙系统 openharmony 数据处理

02/12 18:29

1.3K

最近社区Github最火的issue #8542 "添加 Python 脚本工具进行Transform" —— 这个被疯狂+1的需求值得被更多大神知道！现在正是参与贡献的最佳时机，你的代码可能就出现在下个正式版本中！ ...

python java transform java服务器 github https seatunnel 开源 py4j apache issue getpython issues

02/12 18:08

63

没有更多内容

加载失败，请刷新页面

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

北京奥思研工智能科技有限公司版权所有

京ICP备2025119063号

顶部