加载中
日均 6000+ 实例,TB 级数据流量,Apache DolphinScheduler 如何做联通医疗大数据平台的“顶梁柱”?

作者 | 胡泽康 鄞乐炜 作者简介 胡泽康 联通(广东)产业互联网公司 大数据工程师,专注于开源大数据领域,从事大数据平台研发工作 鄞乐炜 联通(广东)产业互联网公司 大数据工程师,主要从...

讲师征集令 | Apache DolphinScheduler Meetup分享嘉宾,期待你的议题和声音!

Apache DolphinScheduler 社区线上 Meetup 讲师&议题正式对外征集啦!在全球疫情的笼罩下,我们的线上技术沙龙活动一直在紧锣密鼓的筹备举办,在此我们诚心向社区广大用户发起邀请,借你之力...

06/28 13:47
7
数据平台调度升级改造 | 从Azkaban 平滑过度到 Apache DolphinScheduler 的操作实践

Fordeal的数据平台调度系统之前是基于Azkaban进行二次开发的,但是在用户层面、技术层面都存在一些痛点问题难以被解决。比如在用户层面缺少任务可视化编辑界面、补数等必要功能,导致用户上手...

06/20 12:02
14
倒计时2日!基于 Apache DolphinScheduler&TiDB 的交叉开发实践,从编写到调度让你大幅提升效率

当大数据挖掘成为企业赖以生存、发展乃至转型的生命,如何找到一款好软件帮助企业满足需求,成为了许多大数据工程师困扰的问题。但在当下高速发展的大数据领域,光是一款好软件似乎都不足以满...

感谢有你!Apache DolphinScheduler 项目 GitHub star 突破 8k

本周伊始,Apache DolphinScheduler 项目在 GitHub 上的 Github Star 总数首次突破 8K。目前,Apache DolphinScheduler 社区已经拥有 Contributor 345+,fork 数 3k+,社区发展呈现出一片欣欣...

06/16 17:02
24
大数据平台迁移实践 | Apache DolphinScheduler 在当贝大数据环境中的应用

大家下午好,我是来自当贝网络科技大数据平台的基础开发工程师 王昱翔,感谢社区的邀请来参与这次分享,关于 Apache DolphinScheduler 在当贝网络科技大数据环境中的应用。 本次演讲主要包含...

Apache Dolphinscheduler3.0.0-beta-1 版本发布,新增FlinkSQL、Zeppelin任务类型

导读:近日,Apache Dolphin Scheduler 迎来了 3.0.0-beta-1 版本的正式发布。新版本主要针对 3.0.0-alpha 进行了代码和文档的修复,并引入了部分的功能,如支持 FlinkSQL 任务类型,新增 Ze...

Apache DolphinScheduler&TiDB联合Meetup | 聚焦开源生态发展下的应用开发能力

在软件开发领域有一个流行的原则:Don’t Repeat Yourself(DRY),翻译过来就是:不要重复造轮子。而开源项目最基本的目的,其实就是为了不让大家重复造轮子。 尤其是在大数据这样一个高速发展...

06/06 14:12
177
达人专栏 | 还不会用 Apache Dolphinscheduler?大佬用时一个月写出的最全入门教程【三】

作者 | 欧阳涛 招联金融大数据开发工程师 02 Master启动流程 2.10 WorkFlowExecutorThread 里执行 Submit StandByTask 方法 SubmitStandByTask干了5件事情: 从ReadyToSubmitTaskQueue中取出...

DS Meetup:重构大数据平台,帮你避开调度升级改造/集群迁移的坑

当今许多企业都有着技术架构的DataOps程度不够、二次开发成本高、迁移成本高、集群部署混乱等情况,团队在技术选型之后发现并不适合自己的需求,但是迁移成本和难度又比较大,甚至前团队还留...

05/25 10:19
108
【达人专栏】还不会用Apache Dolphinscheduler吗,大佬用时一个月写出的最全入门教学【二】

02 Master启动流程 2.1 MasterServer的启动 在正式开始前,笔者想先鼓励一下大家。我们知道启动Master其实就是启动MasterServer,本质上与其他SpringBoot项目相似,即启动里面的main函数。但...

达人专栏 | 还不会用 Apache Dolphinscheduler?大佬用时一个月写出的最全入门教程

作者 | 欧阳涛 招联金融大数据开发工程师 海豚调度(Apache DolphinScheduler,下文简称DS)是分布式易扩展的可视化DAG工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,使调...

05/17 16:11
271
金融任务实例实时、离线跑批Apache DolphinScheduler在新网银行的三大场景与五大优化

在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数。为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战。如今,新网银行多个...

Apache DolphinScheduler 2.X保姆级源码解析,中国移动工程师揭秘服务调度启动全流程

2022年1月,科学技术部高新技术司副司长梅建平在“第六届中国新金融高峰论坛”上表示,当前数据量已经大大超过了处理能力的上限,若信息技术仍然是渐进式发展,则数据处理能力的提升将远远落...

中国联通改造 Apache DolphinScheduler 资源中心,实现计费环境跨集群调用与数据脚本一站式访问

截止2022年,中国联通用户规模达到4.6亿,占据了全中国人口的30%,随着5G的推广普及,运营商IT系统普遍面临着海量用户、海量话单、多样化业务、组网模式等一系列变革的冲击。 当前,联通每天...

倒计时0日!Apache DolphineScheduler4月 Meetup 大佬手把手教你大数据开发,离线调度

随着互联网技术和信息技术的发展,信息的数据化产生了许多无法用常规工具量化、处理和捕捉的数字信息。面对多元的数据类型,海量的信息价值,如何有效地对大数据进行挖掘分析,对大数据工作流...

04/30 07:58
132

没有更多内容

加载失败,请刷新页面

返回顶部
顶部
返回顶部
顶部