个人空间 - OSCHINA - 中文开源技术交流社区

2023/07/26 10:10

781

数据资产现在需要接入数栈内部相关应用的时候，支持查看血缘的类型从表、离线任务增加到需要表、离线任务、实时任务、API任务、指标、标签等，需要支持数栈现有的所有应用任务，最终实现在数...

https resources 大数据开源 graph 开源框架内容显示 github flinksql 数据处理

袋鼠云技术专栏

2023/07/20 14:12

1K

近年来，随着信息化、数字化、智能化的快速发展，数据从资源逐渐转变为资产。金融行业具有海量数据资源和丰富应用场景优势，在企业经营管理、产品研发、技术创新等关键环节中发挥着重要作用。...

大数据 https resources 开源数据分析工具开源框架 github jr dtstack szsm t0171 szkyzg

2023/07/14 17:14

333

2023年已过半，袋鼠云开发团队和产品团队对数栈产品本身以及客户反馈的问题和痛点进行了持续性的更新和优化，包括对 EasyMR 监控告警功能的更新，以及对离线开发平台表生命周期逻辑的优化等，...

easymr schema hbase hive trino mysql json https admin 开源 guardian meta ntp hdfs 可视化

2023/07/13 17:21

665

之前的文章中，我们已经为大家介绍了 ChengYing 的安装原理、产品包制作、产品线部署等内容，本篇将和大家介绍一个困扰许多开发者的内容——ChengYing 主机接入。帮助所有对 ChengYing 感兴趣...

chengying https resources 开源 go github bindata 大数据开源框架 sudo 操作系统 spm

ChengYing（开源大数据运维管家）

2023/07/10 14:21

195

OTA(Over-The-Air，空中下载技术)，是汽车使用的一种远程无线升级技术。车主只要保持联网的状态，汽车就可以像手机一样进行系统升级。OTA升级最大的好处是，不管对车辆进行常规的升级还是大面...

大数据 https resources 开源数据库系统计算引擎开源框架数据存储数据处理

袋鼠云客户案例专栏

2023/07/06 17:17

1K

随着业务的发展，实时场景在各个⾏业中变得越来越重要。⽆论是⾦融、电商还是物流，实时数据处理都成为了其中的关键环节。Flink 凭借其强⼤的流处理特性、窗⼝操作以及对各种数据源的⽀持，成...

flink https resources 开源大数据 stream 开源框架可视化数据处理 github warehouse

2023/07/05 11:55

1K

在平时和开发者们交流的过程中，发现许多开发朋友尤其是新入门 Taier 的开发者，对于本地调试都有着诸多的不理解和问题。本文就大家平时问的最多的三个问题，服务编译，配置&本地运行，如何在...

taier https resources flink 大数据开源开源框架计算引擎 chunjun data oracle spm mysql

Taier（开源大数据调度系统）

2023/06/30 13:58

147

时下，众多金融机构在积极推行数字化改革，以适应时代高速革新。为回应市场对信息即时生效的迫切需求，各家券商机构都需要更具竞争力的信息服务。本次方案结合券商场景与业务实践，围绕客户...

https 大数据 resources 人工智能开源提醒信息消息中间件消息推送开源框架

袋鼠云客户案例专栏

2023/06/29 16:24

1K

Apache Hudi 是一款开源的数据湖解决方案，它能够帮助企业更好地管理和分析海量数据，支持高效的数据更新和查询。并提供多种数据压缩和存储格式以及索引功能，从而为企业数据仓库实践提供更加...

hudi https 性能优化 base 开源数据处理开源框架 executor resources 文件系统

2023/06/21 11:12

1.4K

从北京到新疆、从中国到南非，从奥运会场馆的水泥混凝土到钱塘江畔拔地而起的高楼房产，无不存在着这个集团的身影。历经60多年沧桑巨变，某市属大型国有控股建筑产业集团已发展成为一家中国...

大数据 https resources 开源开源框架数据可视化可视化 github dtstack szsm szkyzg

2023/06/15 14:46

1.9K

各位看官大家好，今天给大家分享的又是一篇实战文章，希望大家能够喜欢。目前「袋鼠云客户数据洞察平台」标签服务的群组按种类划分，可以分为三大类，分别是实时群组、动态群组以及静态群组...

https hdfs resources 开源大数据开源框架 github dtstack sftp szsm szkyzg

袋鼠云技术专栏

2023/06/14 14:00

985

企业数字化转型以数据为中心，通过数据驱动业务发展、管理协同和运营。因此，数字化转型关键在于数据，数据治理则需先行。从而更好激发数据生产要素潜能，实现业务数据化、数据价值化，助力企...

https resources 架构师开源大数据需求管理开源框架 github dama dtstack szsm szkyzg

2023/06/14 10:54

1.1K

前段时间，袋鼠云离线开发产品接到改造数据同步表单的需求。一方面，数据同步模块的代码可读性和可维护性较差，导致在数据同步模块开发新功能和定位问题的效率很低。另一方面，整体规划上，...

json jsx https context schema form service resources 开源大数据 react tooltip renderer

2023/06/07 14:03

1.2K

本文将从 FTP Connector 的功能详解，自定义文件切割及自定义 FileFormat 三个方面为大家带来 ChunJun FTP Connector 的功能扩展分享。 FTP Connector 详解 FTP 是用于在网络上进行文件传输的...

https chunjun resources 大数据开源 data 开源框架 github 工厂模式 spm filesplit dtstack

2023/06/01 10:23

253

确定用户价值是整个用户运营过程中极其重要的一环。传统的工作流程中，业务人员向数据部门提出数据需求，等待返回结果后再进行价值分析是主要的准备工作，但这个过程非常耗时。为了提高工作效...

https resources 大数据开源开源框架 github dtstack szsm frequency aipl aarrr recency

2023/05/31 16:40

333

在大数据处理中，实时数据分析是一个重要的需求。随着数据量的不断增长，对于实时分析的挑战也在不断加大，传统的批处理方式已经不能满足实时数据处理的需求，需要一种更加高效的技术来解决这...

hudi flink 数据处理 https 数据存储开源 kafka resources hive spark cow 大数据 bloom

袋鼠云技术专栏

2023/05/24 10:59

1.5K

ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架，基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可以把不同来源、格式、特点性质的数据在逻辑上或物理上有...

chunjun hive flink https data hdfs mysql reader rdb resources prometheus parquet 开源 jdbc

2023/05/19 10:50

528

在企业级应用中，数据的安全性和隐私保护是极其重要的。Spark 作为数栈底层计算引擎之一，必须确保数据只能被授权的人员访问，避免出现数据泄露和滥用的情况。为了实现Spark SQL 对数据的精细...

ranger spark rule hive init https json resources 开源关系型数据库大数据 chunjun

2023/05/17 11:33

1.6K

这段时间，我们对产品本身以及客户反馈的一些问题进行了持续的更新和优化，包括对离线平台数据同步功能的更新，数据资产平台血缘问题的优化等，力求满足不同行业用户的更多需求，为用户带来极...

hive kafka https trino 其他 mysql resources iceberg schema 开源大数据开源框架 meta

2023/05/12 14:07

165