广发证券于 2023 年 11 月成为通过 DCMM 数据管理成熟度能力成熟度评估获得管理量化级（四级）的首批券商之一，目前上万个 Kyuubi 作业已成为广发数据综合治理和关键数据体系的核心部分。 本...

本文来自网易杭研大数据技术专家、Apache Kyuubi PMC Member、Apache Spark Committer 尤夕多，内容主要围绕 Apache Spark 与 Native Engine 展开，分享什么是 Native Engine，为什么要做 Na...

网易杭州研究院、网易数帆大数据专家燕青再添新头衔，这一次，是 Apache Incubator PMC 成员。 近日，Apache Incubator PMC（Apache 软件基金会孵化器项目管理委员会，简称 IPMC）宣布，接纳...

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，由网易数帆大数据团队发起开源，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体...

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。 2023 年 11 月 07 日，Amo...

Apache Kyuubi [1] 是一个分布式多租户的 SQL 网关，主要功能为接受用户的通过 JDBC/REST 等协议提交的 SQL 并根据多租户隔离策略路由给其管理的 SQL 引擎执行。在最新的 Kyuubi 1.8 版本，K...

数智时代，开源软件因成为企业竞争力的核心支撑获得了空前的关注，但在降本增效风暴席卷全球的今天，坚持投入开源是一件艰难的事情，而网易数帆一直活跃于开源路上。近日，Envoy 社区宣布，正...

本文整理自网易数帆软件工程师潘成，在 ASF CommunityOverCode Asia 2023（北京）的分享。本篇内容主要为：1）Spark 云原生的收益和挑战；2） 如何基于 Apache Kyuubi 构建统一 Spark 任务网...

背景 服务发现是微服务治理的核心环节。传统的微服务架构采用Consumer/Provider模式，Provider将服务信息注册到注册中心，Consumer通过注册中心发现Provider的服务信息。在云原生服务网格体系...

Arctic 是一个开放式架构下的湖仓管理系统，在开放的 lceberg 数据湖格式之上， 提供更多面向流和更新场景的优化，以及一套可插拔的数据自优化机制和管理服务。 背景 湖数据与数据仓库都是常...

Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 ...

Loggie萌芽于网易严选业务的实际需求，成长于严选与数帆的长期共建，持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态，使得项目能够基于业务需求不断完善、成熟。目前已经...

背景 扬州万方科技股份有限公司主要从事通信、计算机和服务器、智能车辆、基础软件等产品的科研生产，是国家高新技术企业、专精特新小巨人企业、国家火炬计划承担单位。 业务介绍 申威处理器...

Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。 为了让大家更容易使用以及了解 Curve，我们期望接下来通过系列应用实践文章...

伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 ...

业务背景 创云融达是一家以海量数据的存管用为核心，以企业级私有云建设能力为基础，并提供数据资产和数据中台产品和解决方案的高新技术企业。 近年来，为了优化人们纳税缴费的服务体验，各省...

Curve 文件存储是一个 POSIX 兼容的分布式文件系统，适用于私有云、公有云、混合云环境。我们可以通过 Curve 文件存储轻松访问百亿级文件。 先对 Curve 文件存储的架构做一个简单的介绍。文件...

网易传媒大数据实际业务中，存在着大量的准实时计算需求场景，业务方对于数据的实效性要求一般是分钟级；这种场景下，用传统的离线数仓方案不能满足用户在实效性方面的要求，而使用全链路的实...

01 背景介绍 近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、H...

背景 随着大数据业务的发展，基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求，一方面已有很大体量的用户，但是在实时性，功能性上严重缺失；另一方面 Hudi，Iceberg 这类系统在事务性，...