加载中
从一名普通 Cepher 到 Curver 的转变史

写在前面 首先说明,我一直认为 Ceph 是一款非常优秀的开源存储软件,我接触 Ceph 也有好些年了,Ceph 除了为我带来知识上的收获,还为我带来生活上的温饱,所以我对 Ceph 充满了感恩与 Resp...

KubeCube 新增版本转换:K8s 尝鲜再也不用担心影响老版本了

多租户可视化 K8s 管理平台 KubeCube (https://kubecube.io) 近日迎来了新版本的发布,新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式,为集群和项目设置...

SparkSQL on K8s 在网易传媒的落地实践

随着云原生技术的发展和成熟,大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了...

轻舟服务网格的无侵入增强 Istio 经验

在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上,网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验,本文据此次分享整理,介绍了对无侵入和实现的...

基于Impala的高性能数仓实践之物化视图服务

本文将主要介绍NDH Impala的物化视图实现。 接上篇,前两篇分别讲了执行引擎和虚拟数仓,它们是让一个SQL又快又好地执行的关键。但如果某些SQL过于复杂,比如多张大表进行Join并有大量的聚合...

bpftrace 在 Curve 使用总结

概述 Curve 是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,由块存储 CurveBS 和文件系统 CurveFS 两部分组成。 在版本开发过程中...

Apache Kyuubi 高可用的云原生实现

本文作者为中国移动云能力中心大数据团队软件开发工程师洪冬冬,文章主要介绍了 Apache Kyuubi 基于 Apache ZooKeeper 实现高可用的原理,以及在云原生场景下,利用现有的组件和技术实现云原...

【直播预告】Apache Kyuubi新特性解读及互联网/金融行业实践

Apache Kyuubi ( Incubating ) 是一个 Thrift JDBC / ODBC 服务,目前对接 Apache Spark / Flink / Hive / Doris 计算引擎以及 Trino ( Presto ) 查询引擎,支持多租户和分布式等特性,可以满...

Envoy 有状态会话保持机制设计与实现

1 问题背景 会话保持是七层负载均衡的核心功能之一。对于同一会话的请求或者连接,通过会话保持机制,负载均衡软件会将其路由到同一个后端,以利用局部性原理来提高服务整体的效率。 在传统的...

定了!网易9月必看大会重磅来袭,报名通道已正式开启!

刚刚,网易数帆正式宣布 2022网易数字+大会,定档9月! 23日再聚杭城,线上线下精彩同步开启 网易数字+大会已连续举办5年,是网易重磅打造的数字化及数字新基建领域年度主题盛会。2022年度的...

Apache Hudi X Apache Kyuubi,中国移动云湖仓一体的探索与实践

分享嘉宾:孙方彬 中国移动云能力中心 软件开发工程师 编辑整理:Hoh Xil 出品平台:DataFunTalk 导读:在云原生+大数据的时代,随着业务数据量的爆炸式增长以及对高时效性的要求,云原生大数...

Apache Kyuubi 在小米大数据平台的应用实践

导读:今天分享的主题是《Kyuubi 在小米大数据平台的应用实践》,主要分为四部分内容: Kyuubi 在小米的落地过程 打造易用和高可用的 Kyuubi 服务 基于 kyuubi 的改进 kyuubi的一些新特性在业...

基于Impala的高性能数仓建设实践之虚拟数仓

导读: 本文主要介绍网易数帆NDH在Impala上实现的虚拟数仓特性,包括资源分组、水平扩展、混合分组和分时复用等功能,可以灵活配置集群资源、均衡节点负载、提高查询并发,并充分利用节点资源...

开源流式湖仓服务Arctic详解:并非另一套Table Format

本文根据作者于Arctic开源发布会演讲内容整理(略有删减),系统解读Arctic项目研发初衷、生态定位、核心特性、性能表现及未来规划。 首先感谢大家参与我们Arctic开源发布会。我是马进,网易...

从 Delta 2.0 开始聊聊我们需要怎样的数据湖

盘点行业内近期发生的大事,Delta 2.0 的开源是最让人津津乐道的,尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比,颇有些引战的味道。 虽然 Databricks 的工程师反复强调性能测...

携程 Spark 多租户查询服务演进,Apache Kyuubi 未来可期

当我们开始把大多数在 Hive 的查询和 ETL 作业迁移到 Spark,面临的几个问题是如何透明迁移 HiveServer2 服务以及如何保证稳定性。 与 HiveServer2 对应的 Spark Thrift Server 是 Apache S...

Apache Kyuubi 在爱奇艺的实践:加速 Hive SQL 迁移 Spark

Hive 作为爱奇艺数仓的基础,Hive SQL 是爱奇艺大数据平台目前主要的数处理工具,各个业务积累大量的 Hive ETL 任务。Spark 相对于 MapReduce 有着更为灵活的的计算模型,这使得 Spark 相对于...

Curve 替换 Ceph 在网易云音乐的实践

Curve 块存储已在生产环境上线使用近三年,经受住了各种异常和极端场景的考验,性能和稳定性均超出核心业务需求预期 网易云音乐背景 网易云音乐是中国领先的在线音乐平台之一,为音乐爱好者提...

云原生行业应用崛起,从“可用”到“好用”有多远?

云原生与数字化转型正在相互促进。 根据中国信通院发布的《云计算白皮书》,2020年我国云原生在金融、制造、服务业等行业的应用快速崛起,行业数字化转型的带动效应初步显现。另一方面,采用...

云原生时代,中间件应该如何“进化”?

云原生热度持续攀升,这一趋势也延伸了到中间件领域。借助云原生技术,中间件正在解决了自身的弹性、韧性、运维、交付等问题。同时,开发者使用中间件方式也越来越云原生化。 那么,在云原生...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部