Apache SeaTunnel

2025-01期 “各位热爱 Apache SeaTunnel 的小伙伴们，欢迎来到本期的社区月报！” Apache SeaTunnel 项目正在快速发展，致力于提升数据同步的可扩展性、性能和可靠性。感谢每一位参与其中的社...

iceberg seatunnel elasticsearch starrocks docs hotfix release avro kafka hive mongodb oracle null

工作日志

02/08 09:52

96

0

在人工智能技术迅猛发展的今天，大模型与数据处理技术的深度融合正在重塑企业数据架构的底层逻辑。 Apache SeaTunnel，这一由国人主导、全球社区共建的顶级开源数据集成项目，凭借其对大模型...

seatunnel 数据处理开源向量数据库 transform 电商平台大语言模型 saas star

工作日志

02/07 17:12

271

0

概述 SeaTunnel 缘起随着大数据和AI快速崛起与迅猛发展，数据源的多样化和数据量爆炸性增长，业务需求也在快速变化，企业需要具备更强大的新一代数据集成能力来高效地处理各种各样的数据源。...

seatunnel pipeline flink mysql transform cache spark 计算引擎数据处理 hazelcast worker

工作日志

02/06 15:29

511

0

CDC简介 CDC(Change Data Capture)是一种用于跟踪数据库库变更事件（插入、更新、删除）中的行级更改，并将事件以发生的顺序通知到其他系统处理。在容灾场景下，CDC主要实现的是主备间的数据...

reader report watermark once seatunnel split debezium mysql 开源 splitenumerator marker binlog

工作日志

02/06 09:42

540

0

近日，Apache SeaTunnel 社区正式发布了最新版本 2.3.9。本次更新新增了Helm 集群部署、Transform 支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行等多个功能更新！...

开源 transform seatunnel schema https apache starrocks oracle 性能优化 helm 大数据 download

工作日志

01/20 13:35

417

0

近日，Apache SeaTunnel 社区正式发布了最新版本 2.3.9。本次更新新增了Helm 集群部署、Transform 支持多表、Zeta新API、表结构转换、任务提交队列、分库分表合并、列转多行等多个功能更新！...

开源 transform schema seatunnel oracle starrocks apache https 性能优化大数据 helm null

工作日志

01/20 13:32

142

0

分享嘉宾：某政务公司大数据技术经理孟小鹏编辑整理：白鲸开源曾辉导读：本篇文章将从数据集成的基础概念入手，解析数据割裂给企业带来的挑战，阐述数据集成的重要性，并对常见的集成场景...

seatunnel 数据处理 datax transform 关系型数据库开源 flink 大数据分布式架构

工作日志

01/16 19:35

122

0

近日，Apache SeaTunnel 项目成功入选 2024 年度中间件开源项目 Top 50 榜单。该榜单由 Open Github 技术社区评选，旨在表彰在中间件领域具有突出表现的开源项目。榜单链接：https://zhuan...

seatunnel 开源 apache datax star 分布式架构 saas https 文件系统计算引擎

工作日志

01/15 23:00

63

0

随着 Apache SeaTunnel 的不断更新，我们即将迎来 2.3.9 版本的重磅发布！（截止发稿时间，发版流程已经在最后的流程）这个版本带来了多个创新功能和优化，帮助用户在数据集成、任务管理和性...

seatunnel 大数据开源 oracle saas transform star 云原生 apache github 性能优化

工作日志

01/13 11:11

98

0

引言在数字化转型的浪潮中，数据已成为企业最宝贵的资源之一。数据集成技术作为连接各种数据源与数据处理平台的关键桥梁，扮演着越来越重要的角色。随着数据量的激增和应用场景的多样化，数...

数据处理 saas etl工具云原生关系型数据库大数据云计算 iceberg 低代码平台

工作日志

01/13 11:03

188

0

近日，张圣航被推选为 Apache SeaTunnel 的 Committer成员。带着对技术的热情和社区的责任，他将如何跟随 Apache SeaTunnel 社区迈向新的高度？让我们一起来聆听他的故事。自我介绍请您简单...

seatunnel https apache github 开源 datax 大数据架构师数据处理 kafka typesense engine

工作日志

01/09 23:06

77

0

概述在数据集成场景中，Excel 文件作为常见的数据来源，其格式多样化和功能复杂性常常给开发者带来一定挑战。本次修改基于 SeaTunnel-2.3.4 版本，包括：自动识别 .xlsx 和 .xls 文件类型...

seatunnel base xlsx poi 开源 spotless apache 数据处理 maven excel file connector

工作日志

01/09 22:43

103

0

引言在大数据时代，企业面临着数据集成和实时处理的挑战。Apache SeaTunnel 和 Apache Doris 的结合提供了一种解决方案，使得企业能够快速搭建批流一体的数据仓库，全面取代传统的 Lambda 架...

seatunnel 开源大数据可视化 apacheseatunnel 向量数据库 dolphinscheduler iceberg

工作日志

01/07 14:41

80

0

欢迎来到 2025 年！你的 2024 年终总结都写好了吗？记得发博客，私信【开源中国编辑肖滢】哦！想看大家的年终总结？请看专栏：【拜拜，2024！】 2024 年是 Apache SeaTunnel 社区高速成长的...

开源性能优化 yarn 大数据开源中国开源社区 apacheseatunnel source sinkseatunnelweb

工作日志

01/03 16:32

235

0

这篇文章会聊些什么 Apache SeaTunnel作为一款数据集成工具, 那么它最终的目的是来做数据同步, 将数据从某个存储同步到另外一个存储中。但是这篇文章并不会聊它使用层面的事情, 而是去聊一下...

reader init collect worker seatunnel transform pipeline null disruptor class flow engine context

工作日志

01/03 16:30

401

0

Apache SeaTunnel的Embedding转换插件是一个强大的工具，它能够将文本数据转换为向量化表示，从而使得这些数据可以被用于各种机器学习和数据分析任务。这个插件支持多种模型提供商，并且可以...

type book seatunnel https rule null apache kind vector data github jsonpath 开源 small fake json

工作日志

01/03 14:36

72

0

2025年新年临近，Apache SeaTunnel 社区用户案例精选📘也跟大家见面啦！在过去的时间里，SeaTunnel 社区持续成长，吸引了众多开发者的关注与支持。为了致谢一路同行的伙伴，也为了激励更多...

seatunnel 开源跨平台数据集成解决方案 olap引擎架构师 apacheseatunnel debrachen

工作日志

01/02 16:53

207

0

作者：宁诚、陈伟强京东科技架构师技术背景与挑战技术背景 2023年第一季度，京东科技的营销与数据资产部开始规划数据洞察系统产品，主要服务于京东科技营销体系的业务团队。该系统的分析内...

seatunnel clickhouse hive 数据处理计算引擎 yarn spark 大数据系统监控建模工具

工作日志

2024/12/24 16:27

236

0

2024年12月15日，Apache SeaTunnel 和 ByConity 社区联合举办的主题为**「探索数据生态协同创新」**的技术沙龙在万胜广场C塔圆满落幕。本次活动吸引了超过50位开发者、数据工程师和企业用户...

开源 seatunnel 大数据性能优化架构师 byconity apacheseatunnel

工作日志

2024/12/24 15:08

26

0

文章作者：刘方林某医疗企业大数据资深架构师文章整理：曾辉引言随着企业数字化转型的不断推进，数据量的快速增长对传统数据库和数据分析工具提出了更高的要求。本篇文章将分享作者在企业...

seatunnel datax transform flink spark dolphinscheduler 开源 reader oracle 计算引擎

工作日志

2024/12/21 10:47

67

0

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈