网易数帆的个人空间 - OSCHINA - 中文开源技术交流社区

网易数帆

专注数字化基础软件技术传播

认证官方账号

3.3K

经验值

3.3K

开源豆

270

粉丝

关注

关注私信

分布式存储系统

327

服务网格组件

高性能的通用 JDBC 和 SQL 执行引擎

多租户可视化 Kubernetes 管理平台

云原生诊断运维编排框架

高性能云原生 API 网关

云原生日志系统

流式湖仓服务

显示全部 8 个软件

连击天

fork: star:

加载中

01 背景介绍近几年随着B站业务高速发展，数据量不断增加，离线计算集群规模从最初的两百台发展到目前近万台，从单机房发展到多机房架构。在离线计算引擎上目前我们主要使用Spark、Presto、H...

kyuubi engine adhoc spark yarn executor session 大数据 scala 计算引擎 presto dispatcher

大数据

2022/10/27 11:34

1.3K

背景随着大数据业务的发展，基于 Hive 的数仓体系逐渐难以满足日益增长的业务需求，一方面已有很大体量的用户，但是在实时性，功能性上严重缺失；另一方面 Hudi，Iceberg 这类系统在事务性，...

hive iceberg arctic 流式湖仓服务 schema flink hudi kafka 大数据 kyuubi https ranger ams

大数据

2022/10/26 09:51

1.8K

写在前面首先说明，我一直认为 Ceph 是一款非常优秀的开源存储软件，我接触 Ceph 也有好些年了，Ceph 除了为我带来知识上的收获，还为我带来生活上的温饱，所以我对 Ceph 充满了感恩与 Resp...

curve ceph 开源 openstack 对象存储系统云原生数据库 https 文件系统性能优化

Curve

2022/10/21 10:52

2.6K

多租户可视化 K8s 管理平台 KubeCube (https://kubecube.io) 近日迎来了新版本的发布，新版本增加了 K8s 版本转化、HNC GA 版本适配、审计信息国际化、warden 主动上报模式，为集群和项目设置...

kubecube client scheme https deployment controller runtime changelog kubernetes pkg 开源 github

云计算

2022/10/20 09:28

3.2K

随着云原生技术的发展和成熟，大数据基础设施积极拥抱云原生是业内发展的一大趋势。网易传媒在2021年成功将SparkSQL部署到了K8s集群，并实现与部分在线业务的混合部署，到目前已经稳定运行了...

spark yarn executor 大数据云原生云计算 kyuubi kubernetes 压缩算法 hygieia hdfs

大数据

2022/10/17 14:08

3.6K

在云原生社区近日主办的 Service Mesh Summit 2022 服务网格峰会上，网易数帆云原生技术专家方志恒分享了轻舟服务网格无侵入增强 Istio 的经验，本文据此次分享整理，介绍了对无侵入和实现的...

istio envoy rider dubbo lua slime https slime-io kubernetes 开源 github sidecar 云原生 c++

云计算

2022/10/13 11:17

724

本文将主要介绍NDH Impala的物化视图实现。接上篇，前两篇分别讲了执行引擎和虚拟数仓，它们是让一个SQL又快又好地执行的关键。但如果某些SQL过于复杂，比如多张大表进行Join并有大量的聚合...

impala calcite html mysql https docs profile 大数据性能优化 dba apache apachecalcite

大数据

2022/10/12 15:28

概述 Curve 是云原生计算基金会 (CNCF) Sandbox 项目，是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统，由块存储 CurveBS 和文件系统 CurveFS 两部分组成。在版本开发过程中...

bpftrace c++curve https guide blob reference 云原生 github fuse clear 文件系统 small delete

Curve

2022/10/08 14:33

1.3K

没有更多内容

加载失败，请刷新页面

没有更多内容

网易数帆

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈

网易数帆

开源项目作者

软件作品

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈