加载中
广发证券基于 Apache Kyuubi 构建“提效可控”大数据赋能层

广发证券于 2023 年 11 月成为通过 DCMM 数据管理成熟度能力成熟度评估获得管理量化级(四级)的首批券商之一,目前上万个 Kyuubi 作业已成为广发数据综合治理和关键数据体系的核心部分。 本...

2023/12/29 16:15
173
Spark Commiter 深度解读:Apache Spark Native Engine

本文来自网易杭研大数据技术专家、Apache Kyuubi PMC Member、Apache Spark Committer 尤夕多,内容主要围绕 Apache Spark 与 Native Engine 展开,分享什么是 Native Engine,为什么要做 Na...

2023/12/04 16:30
126
Kyuubi 发起人燕青成为 Apache Incubator PMC 成员

网易杭州研究院、网易数帆大数据专家燕青再添新头衔,这一次,是 Apache Incubator PMC 成员。 近日,Apache Incubator PMC(Apache 软件基金会孵化器项目管理委员会,简称 IPMC)宣布,接纳...

2023/12/01 12:34
588
思科基于 Amoro + Apache Iceberg 构建云原生湖仓实践

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统,由网易数帆大数据团队发起开源,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体...

2023/11/20 15:03
134
Amoro 0.6.0 发布:集成 Kubernetes 与 S3,支持 Apache Paimon

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统,提供了一套可插拔的数据自优化机制和管理服务,旨在为用户带来开箱即用的湖仓使用体验。 2023 年 11 月 07 日,Amo...

2023/11/17 17:50
134
基于 Apache Kyuubi 实现分布式 Flink SQL 网关

Apache Kyuubi [1] 是一个分布式多租户的 SQL 网关,主要功能为接受用户的通过 JDBC/REST 等协议提交的 SQL 并根据多租户隔离策略路由给其管理的 SQL 引擎执行。在最新的 Kyuubi 1.8 版本,K...

网易数帆王佰平晋升Envoy Proxy senior maintainer

数智时代,开源软件因成为企业竞争力的核心支撑获得了空前的关注,但在降本增效风暴席卷全球的今天,坚持投入开源是一件艰难的事情,而网易数帆一直活跃于开源路上。近日,Envoy 社区宣布,正...

2023/09/27 10:18
943
Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生

本文整理自网易数帆软件工程师潘成,在 ASF CommunityOverCode Asia 2023(北京)的分享。本篇内容主要为:1)Spark 云原生的收益和挑战;2) 如何基于 Apache Kyuubi 构建统一 Spark 任务网...

2023/08/25 10:49
1K
Slime开源meshregistry:化解服务网格多注册中心兼容之痛

背景 服务发现是微服务治理的核心环节。传统的微服务架构采用Consumer/Provider模式,Provider将服务信息注册到注册中心,Consumer通过注册中心发现Provider的服务信息。在云原生服务网格体系...

Arctic 自动优化湖仓原理解析

Arctic 是一个开放式架构下的湖仓管理系统,在开放的 lceberg 数据湖格式之上, 提供更多面向流和更新场景的优化,以及一套可插拔的数据自优化机制和管理服务。 背景 湖数据与数据仓库都是常...

Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践

Elasticsearch在生产环境中有广泛的应用,本文介绍一种方法,基于网易数帆开源的Curve文件存储,实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 ...

2023/01/12 10:17
4K
新一代云原生日志架构 - Loggie的设计与实践

Loggie萌芽于网易严选业务的实际需求,成长于严选与数帆的长期共建,持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态,使得项目能够基于业务需求不断完善、成熟。目前已经...

2023/01/11 14:43
2.9K
扬州万方:基于申威平台的 Curve 块存储在高性能和超融合场景下的实践

背景 扬州万方科技股份有限公司主要从事通信、计算机和服务器、智能车辆、基础软件等产品的科研生产,是国家高新技术企业、专精特新小巨人企业、国家火炬计划承担单位。 业务介绍 申威处理器...

2022/12/23 10:53
1.8K
Curve 块存储应用实践 -- iSCSI

Curve 是云原生计算基金会 (CNCF) Sandbox 项目,是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。 为了让大家更容易使用以及了解 Curve,我们期望接下来通过系列应用实践文章...

2022/12/02 14:08
1.3K
多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践

伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 ...

创云融达基于 Curve 的智慧税务场景实践

业务背景 创云融达是一家以海量数据的存管用为核心,以企业级私有云建设能力为基础,并提供数据资产和数据中台产品和解决方案的高新技术企业。 近年来,为了优化人们纳税缴费的服务体验,各省...

2022/11/24 09:42
1.3K
Curve 文件存储:如何支撑百亿级文件?

Curve 文件存储是一个 POSIX 兼容的分布式文件系统,适用于私有云、公有云、混合云环境。我们可以通过 Curve 文件存储轻松访问百亿级文件。 先对 Curve 文件存储的架构做一个简单的介绍。文件...

2022/11/11 10:15
2.1K
网易传媒基于 Arctic 的低成本准实时计算实践

网易传媒大数据实际业务中,存在着大量的准实时计算需求场景,业务方对于数据的实效性要求一般是分钟级;这种场景下,用传统的离线数仓方案不能满足用户在实效性方面的要求,而使用全链路的实...

Apache Kyuubi 在B站大数据场景下的应用实践

01 背景介绍 近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、H...

Arctic 基于 Hive 的流批一体实践

背景 随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部