加载中
金山云:基于 JuiceFS 的 Elasticsearch 温冷热数据管理实践

01 Elasticsearch 广泛使用带来的成本问题 Elasticsearch(下文简称“ES”)是一个分布式的搜索引擎,还可作为分布式数据库来使用,常用于日志处理、分析和搜索等场景;在运维排障层面,ES ...

11/18 14:35
1.9K
乾象投资:基于JuiceFS 构建云上量化投研平台

背景 乾象投资 Metabit Trading 成立于2018年,是一家以人工智能为核心的科技型量化投资公司。核心成员毕业于 Stanford、CMU、清北等高校。目前,管理规模已突破 30 亿元人民币。 Metabit 非...

10/28 15:30
98
七款云上共享文件系统 POSIX 兼容性大比拼

当用户在进行文件系统选型时,POSIX 语义兼容性是必不可缺的一项考察指标。JuiceFS 一直非常重视对 POSIX 标准的高度兼容,在持续完善功能、提高性能的同时,尽力保持最大程度的 POSIX 兼容性...

10/20 16:07
2.6K
JuiceFS 元数据引擎选型指南

文件系统是我们常见的存储形式,内部主要由数据和元数据两部分组成。其中数据是文件的具体内容,通常会直接展现给用户;而元数据是描述数据的数据,用来记录文件属性、目录结构、数据存储位置...

10/10 15:50
1K
JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践

企业数据越存越多,存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出,为了应对不同热度数据对查询...

09/28 14:58
1.8K
理想汽车 x JuiceFS:从 Hadoop 到云原生的演进与思考

理想汽车在 Hadoop 时代的技术架构 首先简单回顾下大数据技术的发展,基于我个人的理解,将大数据的发展分了4个时期: 第一个时期: 2006 年到 2008 年。2008 年左右,Hadoop 成为了 Apache...

08/24 15:52
2.4K
JuiceFS 新手必知 24 问

JuiceFS 是一个创新性的软件产品,很多初次尝试的小伙伴对产品和用法感到很多疑惑,所以为了帮助大家快速理解并上手 JuiceFS,我们整理了24个关于 JuiceFS 经典的问题答案,相信经过这 24 问...

08/03 10:31
325
一面数据: Hadoop 迁移云上架构设计与实践

背景 一面数据创立于 2014 年,是一家领先的数据智能解决方案提供商,通过解读来自电商平台和社交媒体渠道的海量数据,提供实时、全面的数据洞察。长期服务全球快消巨头(宝洁、联合利华、玛...

07/29 11:04
1.1K
40+倍提升,详解 JuiceFS 元数据备份恢复性能优化之路

JuiceFS 支持多种元数据存储引擎,且各引擎内部的数据管理格式各有不同。为了便于管理,JuiceFS 自 0.15.2 版本提供了 dump 命令允许将所有元数据以统一格式写入到 JSON 文件进行备份。同时,...

JuiceFS 在多云存储架构中的应用| 深势科技分享

2020 年末,谷歌旗下 DeepMind 研发的 AI 程序 AlphaFold2 在国际蛋白质结构预测竞赛上取得惊人的准确度,使得“ AI 预测蛋白质结构”这一领域受到了空前的关注。今天我们邀请到同领域企业,...

AI场景存储优化:云知声超算平台基于 JuiceFS 的存储实践

云知声是一家专注于语音及语言处理的技术公司。**Atlas 超级计算平台是云知声的计算底层基础架构,为云知声在 AI 各个领域(如语音、自然语言处理、视觉等)的模型迭代提供训练加速等基础计算...

06/29 18:00
1.2K
如何使用 etcd 实现分布式 /etc 目录

etcd 是 Kubernetes 中首选的数据存储系统,这个名字来自于 “/etc” 和 ”distributed“,“/etc” 是Linux 存储配置文件的目录,但 etcd 是一个 Key-Value 键值数据库,不能存储文件。 背景...

06/23 16:10
105
30款提升组织效能 SaaS 工具,我们的宝藏工具箱大公开

熟悉 Juicedata 的小伙伴知道,从2017年成立到第一款产品发布、从寻找PMF(Product Market Fit) 到开源,我们一直保持着一个精简的团队配置,不少人都很好奇我们是如何做到的?今天邀请Juice...

06/07 15:15
2.3K
移动云使用 JuiceFS 支持 Apache HBase 增效降本的探索

作者简介: 陈海峰,移动云数据库 Apache HBase 开发人员,对 Apache HBase、RBF、Apache Spark 有浓厚兴趣。 背景 Apache HBase 是 Apache Hadoop 生态体系中的大规模、可扩展、分布式的数据...

05/31 16:34
1K
Grafana+Prometheus 搭建 JuiceFS 可视化监控系统

作为承载海量数据存储的分布式文件系统,用户通常需要直观地了解整个系统的容量、文件数量、CPU 负载、磁盘 IO、缓存等指标的变化。 JuiceFS 没有重复造轮子,而是通过 Prometheus 兼容的 AP...

05/25 16:22
2.1K
JuiceFS 在数据湖存储架构上的探索

大家好,我是来自 Juicedata 的高昌健,今天想跟大家分享的主题是《JuiceFS 在数据湖存储架构上的探索》,以下是今天分享的提纲: 首先我会简单的介绍一下大数据存储架构变迁以及它们的优缺点...

05/05 13:48
858
JuiceFS 缓存预热详解

缓存预热是一个比较常见的概念,相信很多小伙伴都有所了解。对于 JuiceFS 来说,缓存预热就是将需要操作的数据预先从对象存储拉取到本地,从而获得与使用本地存储类似的性能表现。 缓存预热 ...

04/19 17:06
5.2K
巧用 JuiceFS Sync 命令跨云迁移和同步数据

近年来,云计算已成为主流,企业从自身利益出发,或是不愿意被单一云服务商锁定,或是业务和数据冗余,或是出于成本优化考虑,会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁...

04/14 16:39
1.9K
小团队如何妙用 JuiceFS

早些年还在 ENJOY 的时候, 就已经在用 JuiceFS, 并且一路伴随着我工作过的四家小公司, 这玩意对我来说, 已经成了理所应当不可或缺的基础设施, 对于我服务过的小团队而言, 更是实实在在的好帮...

CSI 工作原理与JuiceFS CSI Driver 的架构设计详解

容器存储接口(Container Storage Interface)简称 CSI,CSI 建立了行业标准接口的规范,借助 CSI 容器编排系统(CO)可以将任意存储系统暴露给自己的容器工作负载。JuiceFS CSI Driver 通过...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部