广发证券于 2023 年 11 月成为通过 DCMM 数据管理成熟度能力成熟度评估获得管理量化级（四级）的首批券商之一，目前上万个 Kyuubi 作业已成为广发数据综合治理和关键数据体系的核心部分。 本...

本文来自网易杭研大数据技术专家、Apache Kyuubi PMC Member、Apache Spark Committer 尤夕多，内容主要围绕 Apache Spark 与 Native Engine 展开，分享什么是 Native Engine，为什么要做 Na...

网易杭州研究院、网易数帆大数据专家燕青再添新头衔，这一次，是 Apache Incubator PMC 成员。 近日，Apache Incubator PMC（Apache 软件基金会孵化器项目管理委员会，简称 IPMC）宣布，接纳...

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，由网易数帆大数据团队发起开源，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体...

Amoro 是一个构建在 Apache Iceberg 等开放数据湖表格之上的湖仓管理系统，提供了一套可插拔的数据自优化机制和管理服务，旨在为用户带来开箱即用的湖仓使用体验。 2023 年 11 月 07 日，Amo...

Apache Kyuubi [1] 是一个分布式多租户的 SQL 网关，主要功能为接受用户的通过 JDBC/REST 等协议提交的 SQL 并根据多租户隔离策略路由给其管理的 SQL 引擎执行。在最新的 Kyuubi 1.8 版本，K...

本文整理自网易数帆软件工程师潘成，在 ASF CommunityOverCode Asia 2023（北京）的分享。本篇内容主要为：1）Spark 云原生的收益和挑战；2） 如何基于 Apache Kyuubi 构建统一 Spark 任务网...

Arctic 是一个开放式架构下的湖仓管理系统，在开放的 lceberg 数据湖格式之上， 提供更多面向流和更新场景的优化，以及一套可插拔的数据自优化机制和管理服务。 背景 湖数据与数据仓库都是常...

伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 ...

网易传媒大数据实际业务中，存在着大量的准实时计算需求场景，业务方对于数据的实效性要求一般是分钟级；这种场景下，用传统的离线数仓方案不能满足用户在实效性方面的要求，而使用全链路的实...

01 背景介绍 近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、H...

背景 随着大数据业务的发展，基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求，一方面已有很大体量的用户，但是在实时性，功能性上严重缺失；另一方面 Hudi，Iceberg 这类系统在事务性，...

随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了...

本文将主要介绍NDH Impala的物化视图实现。 接上篇，前两篇分别讲了执行引擎和虚拟数仓，它们是让一个SQL又快又好地执行的关键。但如果某些SQL过于复杂，比如多张大表进行Join并有大量的聚合...

本文作者为中国移动云能力中心大数据团队软件开发工程师洪冬冬，文章主要介绍了 Apache Kyuubi 基于 Apache ZooKeeper 实现高可用的原理，以及在云原生场景下，利用现有的组件和技术实现云原...

Apache Kyuubi ( Incubating ) 是一个 Thrift JDBC / ODBC 服务，目前对接 Apache Spark / Flink / Hive / Doris 计算引擎以及 Trino ( Presto ) 查询引擎，支持多租户和分布式等特性，可以满...

分享嘉宾：孙方彬 中国移动云能力中心 软件开发工程师 编辑整理：Hoh Xil 出品平台：DataFunTalk 导读：在云原生+大数据的时代，随着业务数据量的爆炸式增长以及对高时效性的要求，云原生大数...

导读：今天分享的主题是《Kyuubi 在小米大数据平台的应用实践》，主要分为四部分内容： Kyuubi 在小米的落地过程 打造易用和高可用的 Kyuubi 服务 基于 kyuubi 的改进 kyuubi的一些新特性在业...

导读： 本文主要介绍网易数帆NDH在Impala上实现的虚拟数仓特性，包括资源分组、水平扩展、混合分组和分时复用等功能，可以灵活配置集群资源、均衡节点负载、提高查询并发，并充分利用节点资源...

本文根据作者于Arctic开源发布会演讲内容整理（略有删减），系统解读Arctic项目研发初衷、生态定位、核心特性、性能表现及未来规划。 首先感谢大家参与我们Arctic开源发布会。我是马进，网易...