作者简介：Greg Palmer（Alluxio首席解决方案工程师） 目录 介绍 一、Apache Ranger 二、Alluxio和Apache Ranger 三、最佳实践 选项一：Ranger管理Alluxio文件系统权限 选项二：Alluxio执行现...

概要速览 美国艺电 (EA) 是游戏行业的翘楚，每年为全球几十亿用户提供数十款游戏。能否针对EA的在线服务做出近实时决策对于业务发展至关重要。本文介绍了在AWS上搭建的基于Presto和Alluxio的...

01 动机与背景 Facebook Presto是一个以SQL语言作为接口的分布式实时查询引擎，可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询、聚合、JOIN以及窗口函数等。 Alluxi...

本期分享主题：《Alluxio块分配策略详解》 全文主要围绕3个部分进行介绍：【策略详解概述】、【块分配策略介绍】、【代码层面解读】 话不多说，直接上干货↓ 策略详解概述 Alluxio 的 Worker...

This article was originally published on InfoWorld on March 22, 2022. Reprinted with permission. IDG Communications, Inc., 2022. All rights reserved. Orchestrating data for mach...

概要速览 PrestoDB的Aria项目曾于2020年发布过一组实验性功能，用来提高对表（通过Hive连接器连接并以ORC格式存储数据）的扫描性能。 在本文中，我们将在基于Docker的PrestoDB测试环境中对这...

目录 内容速览： 01. Alluxio简介 02. Alluxio数据挂载 1. Alluxio统一的数据命名空间 2. Alluxio挂载点 3. Alluxio策略化数据管理 03. Alluxio底层存储一致性 1. Alluxio写文件流程 2. Mus...

1. 数字化转型与国产化进程推进 为了响应国家“十四五”数字经济发展规划的号召，中国企业推动创新资源共建共享，促进创新模式开放化演进，在信息化、数字化、智能化的强烈需求下，中国龙头企...

目录 概要速览 Presto架构 Presto +数据缓存架构 软亲和调度 数据缓存 本地缓存的内部构成和配置 基本缓存单元 缓存位置和层级 线程并发 缓存恢复 监控 基准测试 开销节省 节省的扫描数据量：...

目录 概要速览 存储分离化存在的问题 RaptorX：搭建分层缓存解决方案 Metastore版本化的缓存 文件列表缓存 片段结果缓存 文件描述符和footer缓存 Alluxio 数据缓存 软亲和调度 Performance性...

目录 第一步：下载和启动Hive MetaStore 第二步：下载并启动Presto服务器 第三步：启动Presto CLI（Presto 命令行工具） 第四步：停止服务器 总结： 作者：范斌；Alluxio创始成员、开源社区副...

本文作者：钟荣荣 Presto TSC member/Commiter 将Alluxio与Presto结合运行在社区中越来越流行，使用固态硬盘或内存来缓存热数据集，能够实现近Presto worker的数据本地行，从而避免了远程读取...

导语 金山云-企业云团队（赵侃、李金辉）在交互查询场景下对Presto与Alluxio相结合进行了一系列测试，并总结了一些Presto搭配Alluxio使用的建议。 本次测试未使用对象存储，计算引擎与存储间...

在2022年过去的半年时间里，Alluxio一共做过30场面向客户、用户、粉丝、关注者的直播分享。 这30场分享中，我们每1期都会精心规划、定向邀请嘉宾，其中有来自一线大厂的实战者，有来自Allux...

Alluxio导读 近期，腾讯 Alluxio 团队与 CDG 金融数据团队、TEG supersql 团队、konajdk 团队进行通力协作，解决了金融场景落地腾讯 Alluxio(DOP=Data Orchestration Platform 数据编排平台)...

00 前言 Shuttle[1] 是OPPO大数据团队开源的高可用高性能的 Spark Remote Shuffle Service，文章[2]中详细介绍了Shuttle的架构和设计理念。Shuttle在设计之初选用分布式文件系统作为存储Shu...

探索背景 随着大数据应用的不断发展，数据仓库、数据湖的大数据实践层出不穷；无论是电信、金融、政府，各个行业的大数据热潮蓬勃发展。在过去的4-5年中，我们不断看到企业用户大数据膨胀问题...

本文重点介绍两大流行开源项目Alluxio 和 Presto之间的协同作用，并展示如何利用两者实现跨云自助服务数据架构。 作者介绍 范斌 Alluxio VP Open Source and Founding Member Adit Madan Al...