加载中
网易数帆发布自主开源计划,聚焦云原生生产落地

10月21日,一年一度的网易数字+大会在杭州拉开帷幕,网易数帆在会上发布了围绕云原生生产落地的自主开源计划,在这一主题下开源的KubeDiag、KubeCube、Hango(函谷)等云原生项目,以及未来的...

机器学习平台统一化分布式存储Ceph的进阶优化

自网易云音乐机器学习平台上线以来,承担着音乐内部推荐、搜索、直播、社交、算法工程等各个业务团队机器学习场景的需求, 这其中也遇到了很大的挑战,尤其是在分布式存储这块上,花费大量时...

KubeCube 多级租户模型

KubeCube (https://kubecube.io) 是由网易数帆近期开源的一个轻量化的企业级容器平台,为企业提供 kubernetes 资源可视化管理以及统一的多集群多租户管理功能。KubeCube 社区将通过系列技术文...

Curve、轻舟连获大奖,网易数帆开源治理成果初现

在近日举办的“2021 OSCAR 开源产业大会”上,中国信息通信研究院(以下简称中国信通院)公布了国内开源领域的一系列评估结果,网易数帆凭借 Curve 开源存储项目和社区的优异表现,以及轻舟微...

09/22 10:23
97
Apache Kyuubi on Spark 在CDH上的深度实践

Kyuubi 是网易数帆主导开源的大数据项目,于2021年6月全票通过进入世界顶级开源基金会 Apache Software Foundation 孵化器。Kyuubi 的一个典型使用场景,是替换 HiveServer2,轻松获得 10~1...

云原生API网关 - 开源项目Hango网关设计与实践

解读开源Hango网关的云原生设计与实践,本文先从云原生溯源,解读云原生API网关选型特点;再进一步解读网易数帆开源Hango云原生API网关设计及大规模落地实践。 云原生溯源 什么是云原生 CNCF...

Spark + Kyuubi + Iceberg = Lakehouse

Spark 开源地址:https://spark.apache.org/ 开源的、强大的计算引擎。 官网下载Release,比如:Spark 3.1.2 进入解压目录,运行: sbin/start-master.sh 启动 Spark Master 运行: sbin/star...

Apache Kyuubi(Incubating):网易对 Serverless Spark 的探索与实践

在 Apache 首次亚洲线上技术峰会 --ApacheCon Asia 大会上,网易数帆大数据专家,Apache Kyuubi PPMC,Apache Spark / Submarine Committer 燕青(Kent Yao)分享了 Apache Kyuubi 孵化器项目...

KubeCube开源:简化Kubernetes落地的六大特性

容器技术发展至今,各行各业对其所带来的好处,如多环境交付一致性、弹性伸缩、故障自愈等,已经达成普遍共识。这些好处的实现,依赖于当前容器编排领域的事实标准——Kubernetes平台。然而,...

Hango 开源解读:云原生网关实践,为何要选择 Envoy ?

网关是“镇守”互联网应用门户的关键流量代理软件。进入云原生时代,行业用户除了需要 API 网关提供请求代理、熔断限流、审计监控等常规能力外,更多的开始关注云原生兼容性(容器、服务网格...

Ceph性能瓶颈分析与优化(混合盘篇)

背景 企业级存储中,SSD+HDD的混合盘是一种典型应用场景,可以兼顾成本、性能与容量。 但网易数帆存储团队经过测试(4k随机写)发现,加了NVMe SSD做Ceph的WAL和DB后,性能提升不足一倍且NVMe盘...

07/14 09:57
3.5K
全票通过!网易数帆开源项目Kyuubi进入Apache孵化器

北京时间2021年6月21日,全球顶级开源组织Apache基金会宣布,网易数帆开源的大数据项目Kyuubi以全票通过的表现,正式进入Apache基金会孵化器。 根据投票结果,Kyuubi获得了13个约束性投票(bi...

顶级项目Committer、Contributor齐聚,数帆xIntel大数据技术沙龙等你来

数字化、智能化转型的背景下,数据作为企业核心生产资料,被寄望发挥更大的价值。从Hadoop、Spark到Flink,从Iceberg、ClickHouse到Kubeflow,与“4V”对抗的大数据技术不断更新,而受其推动...

提效 7 倍,Apache Spark 自适应查询优化在网易的深度实践及改进

本文基于 Apahce Spark 3.1.1 版本,讲述 AQE 自适应查询优化的原理,以及网易数帆在 AQE 实践中遇到的痛点和做出的思考。 前言 自适应查询优化(Adaptive Query Execution, AQE) 是 Spark 3....

基于 Kubernetes Operator 的网易数帆生产级云原生中间件实践

在近日的 ArchSummit 全球架构师峰会 2021 上海站上,继网易副总裁、杭研院执行院长、互联网技术委员会主席、网易数帆总经理汪源发表主题演讲《打造开放的云原生操作系统和系统软件架构》之后...

Copyset Replication -- Curve的数据分布策略

Copyset模块结合chunk的放置共同解决了集群数据如何分布的问题,这里主要的设计考虑点是数据分布的均衡性以充分利用磁盘空间和避免热点。 1. 背景 Curve是网易数帆在2020年7月份开源的一个高...

04/16 09:39
1.5K
大数据实战:Kyuubi 与 Spark ThriftServer 的全面对比分析

网易数帆旗下易数大数据团队开源的 Kyuubi,和 Spark 社区的Spark Thrift Server,都是通过纯 SQL 语言和 JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发...

网易数帆开源Kyuubi:基于Spark的高性能JDBC和SQL执行引擎

Kyuubi是网易数帆旗下易数大数据团队开源的一个高性能的通用JDBC和SQL执行引擎,建立在Apache Spark之上。通过Kyuubi,用户能够像处理普通数据一样处理大数据。本文将详细解读Kyuubi的架构设...

Harbor在网易轻舟微服务平台的应用实践

本文节选自《Harbor权威指南》,首发“亨利笔记”公众号,精选网易数帆旗下网易轻舟微服务平台集成 Harbor 的方式和应用场景,读者既可以了解 Harbor 的特性和使用模式,也可以在方案制定和管...

Slime:让 Istio 服务网格变得更加高效与智能

Slime 是网易数帆旗下轻舟微服务团队开源的服务网格组件,它可以作为 Istio 的 CRD 管理器,旨在通过更为简单的配置实现 Istio/Envoy 的高阶功能。目前slime 包含三个非常实用的子模块: 配置...

02/08 09:18
2.9K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部