本文基于 Apahce Spark 3.1.1 版本，讲述 AQE 自适应查询优化的原理，以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3....

解读开源Hango网关的云原生设计与实践，本文先从云原生溯源，解读云原生API网关选型特点；再进一步解读网易数帆开源Hango云原生API网关设计及大规模落地实践。 云原生溯源 什么是云原生 CNCF...

开源软件正在吞噬世界，在未来，没有一家企业能够脱离它们，也不可能存在一家企业能够脱离开源的开发协作方式，也没有一家企业会拒绝这种本质上是双赢的局面。本文来自网易数帆旗下网易易数研...

容器技术发展至今，各行各业对其所带来的好处，如多环境交付一致性、弹性伸缩、故障自愈等，已经达成普遍共识。这些好处的实现，依赖于当前容器编排领域的事实标准——Kubernetes平台。然而，...

网易数帆对象存储（NOS）团队在近线存储优化的基础上针对在线存储场景做了多项优化工作，本文介绍这些优化的实践、效果以及我们的心得。 写在前面 术语说明 EC 的全称是Erasure Code——纠删...

网关是“镇守”互联网应用门户的关键流量代理软件。进入云原生时代，行业用户除了需要 API 网关提供请求代理、熔断限流、审计监控等常规能力外，更多的开始关注云原生兼容性（容器、服务网格...

KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台，为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管理功能。KubeCube 社区将通过系列技术文...

北京时间2021年6月21日，全球顶级开源组织Apache基金会宣布，网易数帆开源的大数据项目Kyuubi以全票通过的表现，正式进入Apache基金会孵化器。 根据投票结果，Kyuubi获得了13个约束性投票(bi...

Slime 是网易数帆旗下轻舟微服务团队开源的服务网格组件，它可以作为 Istio 的 CRD 管理器，旨在通过更为简单的配置实现 Istio/Envoy 的高阶功能。目前slime 包含三个非常实用的子模块： 配置...

Kyuubi是网易数帆旗下易数大数据团队开源的一个高性能的通用JDBC和SQL执行引擎，建立在Apache Spark之上。通过Kyuubi，用户能够像处理普通数据一样处理大数据。本文将详细解读Kyuubi的架构设...

盘点行业内近期发生的大事，Delta 2.0 的开源是最让人津津乐道的，尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比，颇有些引战的味道。 虽然 Databricks 的工程师反复强调性能测...

随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了...

可扩展性是网络代理软件最为关键的特性之一，灵活强大的可扩展性可以大大拓展网络代理软件的能力边界。作为新兴的开源高性能网络代理软件，Envoy 本身提供了相对丰富的可扩展能力，如基于 C+...

作为网易数帆开源的高性能、高可用、高可靠的新一代分布式存储系统，Curve对于多副本数据同步、负载均衡、容灾恢复方面都有较高的要求。网易数帆存储团队选用Raft算法作为Curve底层一致性协议...

服务网格的 2021，“稳” 字当先。不管是原生社区发展，还是行业实践落地，都以 “稳定” 为第一要义。少了前几年大跃进式的架构演进、功能更迭，多了更务实、更落地的行业探索与实践，2021 ...

本文根据作者在 CSDN 云原生 Meetup 深圳站的演讲内容整理，分享云原生趋势下网易数帆在私有化场景下大规模应用的交付实践，包括在实践过程中遇到的问题，如何实现标准化、高效率且高质量的交...

前言 Curve 实践过程中遇到过几次内存相关的问题，与操作系统内存管理相关的是以下两次： chunkserver上内存无法释放 mds出现内存缓慢增长的现象 内存问题在开发阶段大多很难发现，测试阶段大...

多租户可视化 K8s 管理平台 KubeCube (https://kubecube.io) 近日迎来了新版本的发布，新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式，为集群和项目设置...

在近日的 ArchSummit 全球架构师峰会 2021 上海站上，继网易副总裁、杭研院执行院长、互联网技术委员会主席、网易数帆总经理汪源发表主题演讲《打造开放的云原生操作系统和系统软件架构》之后...

前言 Apache Spark 是目前应用最广泛的大数据分析计算工具之一。它擅长于批处理和实时流处理，并支持机器学习、人工智能、自然语言处理和数据分析应用。随着 Spark 越来越受欢迎，使用量越来...