自网易云音乐机器学习平台上线以来，承担着音乐内部推荐、搜索、直播、社交、算法工程等各个业务团队机器学习场景的需求， 这其中也遇到了很大的挑战，尤其是在分布式存储这块上，花费大量时...

KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台，为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管理功能。KubeCube 社区将通过系列技术文...

在近日举办的“2021 OSCAR 开源产业大会”上，中国信息通信研究院（以下简称中国信通院）公布了国内开源领域的一系列评估结果，网易数帆凭借 Curve 开源存储项目和社区的优异表现，以及轻舟微...

Kyuubi 是网易数帆主导开源的大数据项目，于2021年6月全票通过进入世界顶级开源基金会 Apache Software Foundation 孵化器。Kyuubi 的一个典型使用场景，是替换 HiveServer2，轻松获得 10~1...

解读开源Hango网关的云原生设计与实践，本文先从云原生溯源，解读云原生API网关选型特点；再进一步解读网易数帆开源Hango云原生API网关设计及大规模落地实践。 云原生溯源 什么是云原生 CNCF...

Spark 开源地址：https://spark.apache.org/ 开源的、强大的计算引擎。 官网下载Release，比如：Spark 3.1.2 进入解压目录，运行： sbin/start-master.sh 启动 Spark Master 运行: sbin/star...

在 Apache 首次亚洲线上技术峰会 --ApacheCon Asia 大会上，网易数帆大数据专家，Apache Kyuubi PPMC，Apache Spark / Submarine Committer 燕青（Kent Yao）分享了 Apache Kyuubi 孵化器项目...

容器技术发展至今，各行各业对其所带来的好处，如多环境交付一致性、弹性伸缩、故障自愈等，已经达成普遍共识。这些好处的实现，依赖于当前容器编排领域的事实标准——Kubernetes平台。然而，...

网关是“镇守”互联网应用门户的关键流量代理软件。进入云原生时代，行业用户除了需要 API 网关提供请求代理、熔断限流、审计监控等常规能力外，更多的开始关注云原生兼容性（容器、服务网格...

背景 企业级存储中，SSD+HDD的混合盘是一种典型应用场景，可以兼顾成本、性能与容量。 但网易数帆存储团队经过测试(4k随机写)发现，加了NVMe SSD做Ceph的WAL和DB后，性能提升不足一倍且NVMe盘...

北京时间2021年6月21日，全球顶级开源组织Apache基金会宣布，网易数帆开源的大数据项目Kyuubi以全票通过的表现，正式进入Apache基金会孵化器。 根据投票结果，Kyuubi获得了13个约束性投票(bi...

数字化、智能化转型的背景下，数据作为企业核心生产资料，被寄望发挥更大的价值。从Hadoop、Spark到Flink，从Iceberg、ClickHouse到Kubeflow，与“4V”对抗的大数据技术不断更新，而受其推动...

本文基于 Apahce Spark 3.1.1 版本，讲述 AQE 自适应查询优化的原理，以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3....

在近日的 ArchSummit 全球架构师峰会 2021 上海站上，继网易副总裁、杭研院执行院长、互联网技术委员会主席、网易数帆总经理汪源发表主题演讲《打造开放的云原生操作系统和系统软件架构》之后...

Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题，这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。 1. 背景 Curve是网易数帆在2020年7月份开源的一个高...

网易数帆旗下易数大数据团队开源的 Kyuubi，和 Spark 社区的Spark Thrift Server，都是通过纯 SQL 语言和 JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发...

Kyuubi是网易数帆旗下易数大数据团队开源的一个高性能的通用JDBC和SQL执行引擎，建立在Apache Spark之上。通过Kyuubi，用户能够像处理普通数据一样处理大数据。本文将详细解读Kyuubi的架构设...

本文节选自《Harbor权威指南》，首发“亨利笔记”公众号，精选网易数帆旗下网易轻舟微服务平台集成 Harbor 的方式和应用场景，读者既可以了解 Harbor 的特性和使用模式，也可以在方案制定和管...

Slime 是网易数帆旗下轻舟微服务团队开源的服务网格组件，它可以作为 Istio 的 CRD 管理器，旨在通过更为简单的配置实现 Istio/Envoy 的高阶功能。目前slime 包含三个非常实用的子模块： 配置...

Terminating Pod 是业务容器化后遇到的一个典型问题，诱因不一。本文记录了网易数帆-轻舟 Kubernetes 增强技术团队如何一步步排查，发现 Docker Volume 目录过多导致 Terminating Pod 问题的...