Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 ...

Loggie萌芽于网易严选业务的实际需求，成长于严选与数帆的长期共建，持续发展于网易数帆与网易传媒、中国工商银行的紧密协作。广泛的生态，使得项目能够基于业务需求不断完善、成熟。目前已经...

背景 扬州万方科技股份有限公司主要从事通信、计算机和服务器、智能车辆、基础软件等产品的科研生产，是国家高新技术企业、专精特新小巨人企业、国家火炬计划承担单位。 业务介绍 申威处理器...

Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易数帆发起开源的高性能、易运维、云原生的分布式存储系统。 为了让大家更容易使用以及了解 Curve，我们期望接下来通过系列应用实践文章...

伴随着国家产业升级的推进和云原生技术成熟，多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。 ...

业务背景 创云融达是一家以海量数据的存管用为核心，以企业级私有云建设能力为基础，并提供数据资产和数据中台产品和解决方案的高新技术企业。 近年来，为了优化人们纳税缴费的服务体验，各省...

Curve 文件存储是一个 POSIX 兼容的分布式文件系统，适用于私有云、公有云、混合云环境。我们可以通过 Curve 文件存储轻松访问百亿级文件。 先对 Curve 文件存储的架构做一个简单的介绍。文件...

网易传媒大数据实际业务中，存在着大量的准实时计算需求场景，业务方对于数据的实效性要求一般是分钟级；这种场景下，用传统的离线数仓方案不能满足用户在实效性方面的要求，而使用全链路的实...

01 背景介绍 近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、H...

背景 随着大数据业务的发展，基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求，一方面已有很大体量的用户，但是在实时性，功能性上严重缺失；另一方面 Hudi，Iceberg 这类系统在事务性，...

写在前面 首先说明，我一直认为 Ceph 是一款非常优秀的开源存储软件，我接触 Ceph 也有好些年了，Ceph 除了为我带来知识上的收获，还为我带来生活上的温饱，所以我对 Ceph 充满了感恩与 Resp...

多租户可视化 K8s 管理平台 KubeCube (https://kubecube.io) 近日迎来了新版本的发布，新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式，为集群和项目设置...

随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了...

在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上，网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验，本文据此次分享整理，介绍了对无侵入和实现的...

本文将主要介绍NDH Impala的物化视图实现。 接上篇，前两篇分别讲了执行引擎和虚拟数仓，它们是让一个SQL又快又好地执行的关键。但如果某些SQL过于复杂，比如多张大表进行Join并有大量的聚合...

概述 Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统，由块存储 CurveBS 和文件系统 CurveFS 两部分组成。 在版本开发过程中...

本文作者为中国移动云能力中心大数据团队软件开发工程师洪冬冬，文章主要介绍了 Apache Kyuubi 基于 Apache ZooKeeper 实现高可用的原理，以及在云原生场景下，利用现有的组件和技术实现云原...

Apache Kyuubi ( Incubating ) 是一个 Thrift JDBC / ODBC 服务，目前对接 Apache Spark / Flink / Hive / Doris 计算引擎以及 Trino ( Presto ) 查询引擎，支持多租户和分布式等特性，可以满...

1 问题背景 会话保持是七层负载均衡的核心功能之一。对于同一会话的请求或者连接，通过会话保持机制，负载均衡软件会将其路由到同一个后端，以利用局部性原理来提高服务整体的效率。 在传统的...

刚刚，网易数帆正式宣布 2022网易数字+大会，定档9月！ 23日再聚杭城，线上线下精彩同步开启 网易数字+大会已连续举办5年，是网易重磅打造的数字化及数字新基建领域年度主题盛会。2022年度的...