加载中
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践

Elasticsearch在生产环境中有广泛的应用,本文介绍一种方法,基于网易数帆开源的Curve文件存储,实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 ...

01/12 10:17
3.4K
新一代云原生日志架构 - Loggie的设计与实践

Loggie萌芽于网易严选业务的实际需求,成长于严选与数帆的长期共建,持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态,使得项目能够基于业务需求不断完善、成熟。目前已经...

扬州万方:基于申威平台的 Curve 块存储在高性能和超融合场景下的实践

背景 扬州万方科技股份有限公司主要从事通信、计算机和服务器、智能车辆、基础软件等产品的科研生产,是国家高新技术企业、专精特新小巨人企业、国家火炬计划承担单位。 业务介绍 申威处理器...

2022/12/23 10:53
1.3K
Curve 块存储应用实践 -- iSCSI

Curve 是云原生计算基金会 (CNCF) Sandbox 项目,是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。 为了让大家更容易使用以及了解 Curve,我们期望接下来通过系列应用实践文章...

2022/12/02 14:08
956
多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践

伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 ...

创云融达基于 Curve 的智慧税务场景实践

业务背景 创云融达是一家以海量数据的存管用为核心,以企业级私有云建设能力为基础,并提供数据资产和数据中台产品和解决方案的高新技术企业。 近年来,为了优化人们纳税缴费的服务体验,各省...

2022/11/24 09:42
1K
Curve 文件存储:如何支撑百亿级文件?

Curve 文件存储是一个 POSIX 兼容的分布式文件系统,适用于私有云、公有云、混合云环境。我们可以通过 Curve 文件存储轻松访问百亿级文件。 先对 Curve 文件存储的架构做一个简单的介绍。文件...

2022/11/11 10:15
1.6K
网易传媒基于 Arctic 的低成本准实时计算实践

网易传媒大数据实际业务中,存在着大量的准实时计算需求场景,业务方对于数据的实效性要求一般是分钟级;这种场景下,用传统的离线数仓方案不能满足用户在实效性方面的要求,而使用全链路的实...

Apache Kyuubi 在B站大数据场景下的应用实践

01 背景介绍 近几年随着B站业务高速发展,数据量不断增加,离线计算集群规模从最初的两百台发展到目前近万台,从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、H...

Arctic 基于 Hive 的流批一体实践

背景 随着大数据业务的发展,基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求,一方面已有很大体量的用户,但是在实时性,功能性上严重缺失;另一方面 Hudi,Iceberg 这类系统在事务性,...

从一名普通 Cepher 到 Curver 的转变史

写在前面 首先说明,我一直认为 Ceph 是一款非常优秀的开源存储软件,我接触 Ceph 也有好些年了,Ceph 除了为我带来知识上的收获,还为我带来生活上的温饱,所以我对 Ceph 充满了感恩与 Resp...

2022/10/21 10:52
2.1K
KubeCube 新增版本转换:K8s 尝鲜再也不用担心影响老版本了

多租户可视化 K8s 管理平台 KubeCube (https://kubecube.io) 近日迎来了新版本的发布,新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式,为集群和项目设置...

2022/10/20 09:28
2.9K
SparkSQL on K8s 在网易传媒的落地实践

随着云原生技术的发展和成熟,大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了...

轻舟服务网格的无侵入增强 Istio 经验

在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上,网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验,本文据此次分享整理,介绍了对无侵入和实现的...

2022/10/13 11:17
449
基于Impala的高性能数仓实践之物化视图服务

本文将主要介绍NDH Impala的物化视图实现。 接上篇,前两篇分别讲了执行引擎和虚拟数仓,它们是让一个SQL又快又好地执行的关键。但如果某些SQL过于复杂,比如多张大表进行Join并有大量的聚合...

2022/10/12 15:28
1.1K
bpftrace 在 Curve 使用总结

概述 Curve 是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,由块存储 CurveBS 和文件系统 CurveFS 两部分组成。 在版本开发过程中...

2022/10/08 14:33
906
Apache Kyuubi 高可用的云原生实现

本文作者为中国移动云能力中心大数据团队软件开发工程师洪冬冬,文章主要介绍了 Apache Kyuubi 基于 Apache ZooKeeper 实现高可用的原理,以及在云原生场景下,利用现有的组件和技术实现云原...

2022/09/30 09:24
1.6K
【直播预告】Apache Kyuubi新特性解读及互联网/金融行业实践

Apache Kyuubi ( Incubating ) 是一个 Thrift JDBC / ODBC 服务,目前对接 Apache Spark / Flink / Hive / Doris 计算引擎以及 Trino ( Presto ) 查询引擎,支持多租户和分布式等特性,可以满...

2022/09/30 09:17
298
Envoy 有状态会话保持机制设计与实现

1 问题背景 会话保持是七层负载均衡的核心功能之一。对于同一会话的请求或者连接,通过会话保持机制,负载均衡软件会将其路由到同一个后端,以利用局部性原理来提高服务整体的效率。 在传统的...

2022/09/15 17:06
2K
定了!网易9月必看大会重磅来袭,报名通道已正式开启!

刚刚,网易数帆正式宣布 2022网易数字+大会,定档9月! 23日再聚杭城,线上线下精彩同步开启 网易数字+大会已连续举办5年,是网易重磅打造的数字化及数字新基建领域年度主题盛会。2022年度的...

2022/09/07 13:50
52

没有更多内容

加载失败,请刷新页面

返回顶部
顶部