加载中
基于Impala的高性能数仓建设实践之虚拟数仓

导读: 本文主要介绍网易数帆NDH在Impala上实现的虚拟数仓特性,包括资源分组、水平扩展、混合分组和分时复用等功能,可以灵活配置集群资源、均衡节点负载、提高查询并发,并充分利用节点资源...

开源流式湖仓服务Arctic详解:并非另一套Table Format

本文根据作者于Arctic开源发布会演讲内容整理(略有删减),系统解读Arctic项目研发初衷、生态定位、核心特性、性能表现及未来规划。 首先感谢大家参与我们Arctic开源发布会。我是马进,网易...

前天 09:23
853
从 Delta 2.0 开始聊聊我们需要怎样的数据湖

盘点行业内近期发生的大事,Delta 2.0 的开源是最让人津津乐道的,尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比,颇有些引战的味道。 虽然 Databricks 的工程师反复强调性能测...

携程 Spark 多租户查询服务演进,Apache Kyuubi 未来可期

当我们开始把大多数在 Hive 的查询和 ETL 作业迁移到 Spark,面临的几个问题是如何透明迁移 HiveServer2 服务以及如何保证稳定性。 与 HiveServer2 对应的 Spark Thrift Server 是 Apache S...

07/21 16:07
3.3K
Apache Kyuubi 在爱奇艺的实践:加速 Hive SQL 迁移 Spark

Hive 作为爱奇艺数仓的基础,Hive SQL 是爱奇艺大数据平台目前主要的数处理工具,各个业务积累大量的 Hive ETL 任务。Spark 相对于 MapReduce 有着更为灵活的的计算模型,这使得 Spark 相对于...

T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践

在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上,T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3出行高级大数据工程师李心恺共同分享了 Apache Kyuubi(Incubating) 在T3出...

eBay 基于 Apache Kyuubi 构建统一 Serverless Spark 网关的实践

本文来自 eBay 软件工程师、Apache Kyuubi PPMC Member王斐在Apache SeaTunnel & Kyuubi 联合 Meetup的分享,介绍了Apache Kyuubi(Incubating)的基本架构和使用场景,eBay基于自身的需求对K...

Spark on Kubernetes 与 Spark on Yarn 不完全对比分析

前言 Apache Spark 是目前应用最广泛的大数据分析计算工具之一。它擅长于批处理和实时流处理,并支持机器学习、人工智能、自然语言处理和数据分析应用。随着 Spark 越来越受欢迎,使用量越来...

Apache Kyuubi Committer VinoYang: 展望 Flink SQL Engine

Apache Kyuubi 新晋 Committer VinoYang,为我们带来了参与大数据开源社区的心路历程,以及对 Kyuubi Flink SQL Engine 的展望。 大家好,我是杨华(VinoYang),是 Apache Kyuubi的新晋 Co...

Apache Kyuubi 在网易的深度实践

分享的内容主要包括三个内容: 1) Apache Kyuubi (Incubating) (以下简称Kyuubi)是什么?介绍Kyuubi的核心功能以及Kyuubi在各个使用场景中的解决方案; 2) Kyuubi在网易内部的定位、角色和...

2021/12/23 09:59
4.5K
Apache Kyuubi:灵活运用引擎隔离共享,加速即席查询,支持大规模 ETL

Kyuubi 简介 Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架,支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景...

Apache Kyuubi 助力 CDH 解锁 Spark SQL

Apache Kyuubi(Incubating)(下文简称Kyuubi)是⼀个构建在Spark SQL之上的企业级JDBC网关,兼容HiveServer2通信协议,提供高可用、多租户能力。Kyuubi 具有可扩展的架构设计,社区正在努力使...

Apache Kyuubi 在 T3 出行的深度实践

支撑了80%的离线作业,日作业量在1W+ 大多数场景比 Hive 性能提升了3-6倍 多租户、并发的场景更加高效稳定 T3出行是一家基于车联网驱动的智慧出行平台,拥有海量且丰富的数据源。因为车联网数...

Apache Kyuubi on Spark 在CDH上的深度实践

Kyuubi 是网易数帆主导开源的大数据项目,于2021年6月全票通过进入世界顶级开源基金会 Apache Software Foundation 孵化器。Kyuubi 的一个典型使用场景,是替换 HiveServer2,轻松获得 10~1...

Spark + Kyuubi + Iceberg = Lakehouse

Spark 开源地址:https://spark.apache.org/ 开源的、强大的计算引擎。 官网下载Release,比如:Spark 3.1.2 进入解压目录,运行: sbin/start-master.sh 启动 Spark Master 运行: sbin/star...

Apache Kyuubi(Incubating):网易对 Serverless Spark 的探索与实践

在 Apache 首次亚洲线上技术峰会 --ApacheCon Asia 大会上,网易数帆大数据专家,Apache Kyuubi PPMC,Apache Spark / Submarine Committer 燕青(Kent Yao)分享了 Apache Kyuubi 孵化器项目...

2021/08/27 09:10
4.1K
全票通过!网易数帆开源项目Kyuubi进入Apache孵化器

北京时间2021年6月21日,全球顶级开源组织Apache基金会宣布,网易数帆开源的大数据项目Kyuubi以全票通过的表现,正式进入Apache基金会孵化器。 根据投票结果,Kyuubi获得了13个约束性投票(bi...

2021/06/29 09:26
4.8K
顶级项目Committer、Contributor齐聚,数帆xIntel大数据技术沙龙等你来

数字化、智能化转型的背景下,数据作为企业核心生产资料,被寄望发挥更大的价值。从Hadoop、Spark到Flink,从Iceberg、ClickHouse到Kubeflow,与“4V”对抗的大数据技术不断更新,而受其推动...

提效 7 倍,Apache Spark 自适应查询优化在网易的深度实践及改进

本文基于 Apahce Spark 3.1.1 版本,讲述 AQE 自适应查询优化的原理,以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3....

大数据实战:Kyuubi 与 Spark ThriftServer 的全面对比分析

网易数帆旗下易数大数据团队开源的 Kyuubi,和 Spark 社区的Spark Thrift Server,都是通过纯 SQL 语言和 JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部