加载中
Meta公司新探索 | 利用Alluxio数据缓存降低Presto延迟

目录 概要速览 Presto架构 Presto +数据缓存架构 软亲和调度 数据缓存 本地缓存的内部构成和配置 基本缓存单元 缓存位置和层级 线程并发 缓存恢复 监控 基准测试 开销节省 节省的扫描数据量:...

07/29 11:21
49
Meta公司内部项目-RaptorX:将Presto性能提升10倍

目录 概要速览 存储分离化存在的问题 RaptorX:搭建分层缓存解决方案 Metastore版本化的缓存 文件列表缓存 片段结果缓存 文件描述符和footer缓存 Alluxio 数据缓存 软亲和调度 Performance性...

07/29 11:21
34
技能速成!教你10分钟内在电脑上配置运行Hive Metastore和Presto

目录 第一步:下载和启动Hive MetaStore 第二步:下载并启动Presto服务器 第三步:启动Presto CLI(Presto 命令行工具) 第四步:停止服务器 总结: 作者:范斌;Alluxio创始成员、开源社区副...

07/29 11:20
27
什么是一致性哈希?可以应用在哪些场景?

本文作者:钟荣荣 Presto TSC member/Commiter 将Alluxio与Presto结合运行在社区中越来越流行,使用固态硬盘或内存来缓存热数据集,能够实现近Presto worker的数据本地行,从而避免了远程读取...

07/29 11:10
1.5K
金山云团队分享 | 5000字读懂Presto如何与Alluxio搭配

导语 金山云-企业云团队(赵侃、李金辉)在交互查询场景下对Presto与Alluxio相结合进行了一系列测试,并总结了一些Presto搭配Alluxio使用的建议。 本次测试未使用对象存储,计算引擎与存储间...

07/29 11:10
60
【合集- 行业解决方案】如何搭建高性能的数据加速与数据编排平台

在2022年过去的半年时间里,Alluxio一共做过30场面向客户、用户、粉丝、关注者的直播分享。 这30场分享中,我们每1期都会精心规划、定向邀请嘉宾,其中有来自一线大厂的实战者,有来自Allux...

07/29 11:09
36
腾讯大咖分享 | 腾讯Alluxio(DOP)在金融场景的落地与优化实践

Alluxio导读 近期,腾讯 Alluxio 团队与 CDG 金融数据团队、TEG supersql 团队、konajdk 团队进行通力协作,解决了金融场景落地腾讯 Alluxio(DOP=Data Orchestration Platform 数据编排平台)...

Shuttle + Alluxio 加速内存Shuffle起飞

00 前言 Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service,文章[2]中详细介绍了Shuttle的架构和设计理念。Shuttle在设计之初选用分布式文件系统作为存储Shu...

6W+字记录实验全过程 | 探索Alluxio经济化数据存储策略

探索背景 随着大数据应用的不断发展,数据仓库、数据湖的大数据实践层出不穷;无论是电信、金融、政府,各个行业的大数据热潮蓬勃发展。在过去的4-5年中,我们不断看到企业用户大数据膨胀问题...

07/29 11:05
52
Alluxio为Presto赋能跨云的自助服务能力

本文重点介绍两大流行开源项目Alluxio 和 Presto之间的协同作用,并展示如何利用两者实现跨云自助服务数据架构。 作者介绍 范斌 Alluxio VP Open Source and Founding Member Adit Madan Al...

07/29 11:04
37

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部