袋鼠云技术专栏 - 袋鼠云数栈的个人空间 - OSCHINA - 中文开源技术交流社区

OSC小程序

袋鼠云数栈

数栈是袋鼠云旗下一站式大数据开发平台，我们以技术为核心，让我们一起将未来变成现在。

认证官方账号

5.8K

经验值

5.7K

开源豆

关注私信

分布式可视化 DAG 任务调度系统

28

基于 Flink 的数据集成工具

27

Web IDE UI 框架

14

一站式全自动化全生命周期运维管家

37

连击天

fork: star:

加载中

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这...

apache flink kafka hive apache spark 大数据 parquet

袋鼠云技术专栏

05/24 10:59

1K

更好地提高效率一直以来是袋鼠云数栈产品的主要目标之一。当前数栈客户的实时任务都是基于 Per-Job 模式运行的，客户在进行一些任务参数的修改之后，只能先取消当前任务，再选择 CheckPoint...

apache flink dispatcher

袋鼠云技术专栏

03/09 16:08

764

袋鼠云数栈从2016年发布第⼀个版本开始，就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想，坚定不移地⾛国产化信创路线，不断推进产品功能迭代、技术创新、服务细化和性...

袋鼠云技术专栏

03/03 17:35

1K

Calcite在大数据系统中有着广泛的运用, 比如Apache Flink, Apache Drill等都大量使用了Calcite，理解Calcite的原理可以说已经成为理解大数据系统中SQL访问层实现原理的必备条件之一。但是不...

javacc fmpp 大数据 github apache apache calcite apache flink

袋鼠云技术专栏

01/12 17:00

4.4K

“数据湖”、“湖仓一体”及“流批一体”等概念，是近年来大数据领域热度最高的词汇，在各大互联网公司掀起了一波波的热潮，各家公司纷纷推出了自己的技术方案，其中作为全链路数字化技术与服...

hdfs kafka 大数据 hive

袋鼠云技术专栏

2022/12/20 19:59

1.4K

2020年1月，时间跨度长达14年的，微软2.5亿条客户服务和支持记录在网上泄露；同年4月，微盟发生史上最贵“删库跑路”事件，造成微盟市值一夜之间缩水约24亿港币；今年7月，网信办依据《数据...

大数据 kerberos

袋鼠云技术专栏

2022/12/08 17:40

446

一、前言作为全链路数字化技术与服务提供商，袋鼠云提供了从数据湖、大数据基础平台、离线开发、实时开发、数据服务、数据治理、指标管理、客户数据洞察、数据孪生可视化等全产品体系的服务...

easymr 大数据 maven maven shade plugin

袋鼠云技术专栏

2022/10/27 19:50

728

一、困境频生前端代码管理何解？前端代码管理一直是困扰不少前端开发团队的难题，从开发到发布的整体工作流程中，除了常规的技术问题外，往往还伴随着沟通成本、维护成本及协作效率等问题。...

npm yarn maintainer github git webpack ede babel pre-commit lerna

袋鼠云技术专栏

2022/08/25 17:44

2.2K

原文链接：袋鼠云数栈基于CBO在Spark SQL优化上的探索一、Spark SQL CBO选型背景 Spark SQL的优化器有两种优化方式：一种是基于规则的优化方式(Rule-Based Optimizer，简称为RBO)；另一种是...

hive apache spark hdfs 大数据

袋鼠云技术专栏

2022/06/10 11:04

1.6K

导读：近些年随着云计算和云原生应用的兴起，容器技术可以很好地解决许多问题，所以将大数据平台容器化是一种理想的方案。本文将结合袋鼠云数栈在Flink on Kubernetes的实践让您对大数据平台...

apache flink 大数据 kubernetes hadoop

袋鼠云技术专栏

2022/04/15 16:04

2.3K

导读： Web IDE的开发从来是整个大数据平台开发中非常繁复和笨重的一环，从零搭建一个 Web IDE 通常意味着大量的殚精竭虑和苦思冥想，时间成本更是不可计数。两个UI组件库一起用更是bug的代名...

ant design 大数据 github

袋鼠云技术专栏

2022/03/25 11:07

1.6K

导读：大数据技术的发展历程中，继数据仓库、数据湖之后，大数据平台的又一革新技术——湖仓一体近年来开始引起业内关注。市场发展催生的数据管理需求一直是数据技术革新的动力。比如数据仓...

apache flink hive apache spark hudi 大数据

袋鼠云技术专栏

2022/03/21 15:53

4.2K

引言一项技术能得以广泛运用，其中的一个关键点在于工程化。前端从最开始的简单写写网页和样式，发展为需要处理复杂的逻辑，伴随而来的是问题是相关文件越来越多，简单在网页中引用已经解决...

eslint webpack stylelint prettier babel typescript

袋鼠云技术专栏

2022/02/23 10:12

588

一、需求背景产品成立之初，产品的需求是需要对各种指标进行公式运算，组合成一个新的复合指标，供后续使用。当时产品提出的形式是有两种：一种是直接让用户输入，不作任何其他操作，但这种...

g6

袋鼠云技术专栏

2022/02/16 10:48

1.2K

一、关于流批一体数据仓库流批一体是一种架构思想，这种思想说的是同一个业务，使用同一个sql逻辑，在既可以满足流处理计算同时也可以满足批处理任务的计算。从效率层面来说，批处理只能以...

apache flink kafka 大数据

袋鼠云技术专栏

2022/01/26 10:58

4.5K

这篇文章的主题为我们对 Form 表单在数栈产品中使用之后理解消化的一个过程，通过介绍一些 Form 表单中常用到的方法，来理解部分设计思想，加深我们对技术的追求。主要介绍 Form 表单的创建和...

react javascript python java

袋鼠云技术专栏

2022/01/19 10:45

1.9K

一、引言本文为主题即为 Form 表单在数栈的应用，旨在希望能通过一些在数栈已经应用的实例和笔者整理的小tips来帮助大家更深入的理解Form表单校验、以及联动校验的认知和做法。本文的重点为...

袋鼠云技术专栏

2022/01/12 15:59

3.8K

访问控制（Access control）是指对访问者向受保护资源进行访问操作的控制管理。该控制管理保证被授权者可访问受保护资源，未被授权者不能访问受保护资源。现实生活中的访问控制可以由付费或...

rbac

袋鼠云技术专栏

2022/01/05 20:35

5.5K

铛铛铛 12月16日9:00 我们的Molecule在GitHub与Gitee 正式开源咯！！！什么？你还不知道它是谁？那就先来认识一下这位新成员吧 ps：悄悄告诉你关注“数栈研习社”还有小惊喜哦 Molecule简...

visual studio code react colortheme javascript

袋鼠云技术专栏

2021/12/16 09:00

1.2K

随着全球开源生态的持续性发展，开源项目数量呈现指数级的增长，并逐渐覆盖全栈技术领域。袋鼠云数栈技术开源团队一直秉承着“源于开源回馈开源”的理念，坚持以技术为核心，开源开放、不断...

github gitee react monaco-editor javascript

袋鼠云技术专栏

2021/12/15 17:35

161

没有更多内容

加载失败，请刷新页面

©OSCHINA(OSChina.NET)

工信部

开源软件推进联盟

指定官方社区

社区规范

深圳市奥思网络科技有限公司版权所有

粤ICP备12009483号

顶部