加载中
大咖分享 | 如何构建 Alluxio 审计日志分析系统

本文作者:耿云涛 本文作者:葛大力 大数据技术日新月异,数据湖、数据中台、逻辑数据湖、数据编织、数据编排等数据建设理念不断出现、深化,究其根本依然是如何能够将数据规整起来,以统一的...

【Iceberg+Alluxio】助力加速数据通道(下篇)

王北南,Alluxio软件工程师,也是PrestoDB的committer。加入Alluxio之前,北南博士是Twitter Presto团队的技术负责人,并为Twitter的数据平台构建了大规模分布式SQL系统。他在性能优化、分布...

2022/10/26 18:04
243
【Iceberg+Alluxio】助力加速数据通道(上篇)

陈寿纬:Alluxio软件工程师,在Alluxio主要负责数据湖方案结合、结构化数据与高可用性优化等相关工作。陈寿纬博士毕业于罗格斯大学电子与计算机工程系,专业方向是大规模分布式系统的性能与稳...

2022/10/26 18:00
366
腾讯工程师独家分享:Alluxio线程池调优

Alluxio线程池结构与吞吐量调优 导语 Alluxio 是一个开源的数据编排系统,致力于解决解决大数据分析及 AI 场景下的一些痛点问题,它可以加速数据查询和AI模型训练的速度,提升系统在高并发场...

2022/10/26 17:52
3K
一站式全覆盖数据 I/O 平台 - Alluxio 与 Aunalytics 的完美结合

“Aunalytics云原生数据分析平台与Alluxio 的开源数据编排软件相结合,使客户能够进行跨所有数据源的统一访问,并驱动人工智能分析,产出更好的答案,获得竞争优势。” - Aunalytics分析云首...

技术分享 | Presto性能对比测试:Kubernetes部署 VS 物理机部署

一、引言 Presto是开源分布式SQL查询引擎,可以对从GB到PB级大小的数据源进行交互式分析查询。Presto支持Hive、Cassandra、关系型数据库甚至专有数据存储等多种数据源,允许跨源查询。(详见...

2022/10/11 13:55
3.1K
揭秘Presto+Alluxio 的N个核心"黑魔法"

Presto committer教你构建海量数据OLAP查询引擎 活动回顾:在探索Alluxio系列活动中,Alluxio的资深软件工程师王北南博士,为我们介绍讲述了Presto+Alluxio 构建大规模交互式SQL查询引擎的实...

2022/09/28 11:57
63
Presto on Alluxio By Alluxio SDS 单节点搭建

总体架构 急性子,想直接实操的,先绕过这个章节,直接看后边的实操步骤。把环境运行起来再看原理。Presto 的架构如下图所示,client 的请求,会递交给 Coordinator 进行处理,而元数据信息由...

2022/09/28 11:37
42
帮助 Meta 解决 Presto 中的数据孤岛问题

本文转载自 InfoQ 官网 作者:Alluxio-钟荣荣;Meta-James Sun & Ke Wang Raptor 是用来支持Meta(以前的Facebook)中的一些关键交互式查询工作负载的Presto连接器(presto-raptor)。尽管I...

2022/09/27 17:42
1.9K
B站基于Iceberg+Alluxio助力湖仓一体项目落地实践

本期分享的题目是B站基于Iceberg + Alluxio 助力湖仓一体项目落地实践,内容包含诸多技术细节,主要从以下4个维度进行分享: 摘要 01. B站湖仓一体项目的背景介绍 当前B站每天会有pb级的数据...

2022/09/27 16:52
4.9K
Alluxio Local Cache 监控指南 Alluxio Alluxio ​

作者 张策:Alluxio PMC & 联通大数据工程师 01 什么是 Alluxio Local Cache 随着云计算在基础设施领域的市场份额持续上升,主流数据分析引擎纷纷选择独立扩展存储、计算来适配云基础设施,并...

Meetup | 机器学习工作流的分解及虚拟数据湖的应用

2022年9月23日(周五)上午10:00-11:00,由Alluxio举办的【Meetup】即将强势呈现! 本期邀请到的嘉宾是:Alluxio产品经理——欧阳婧雯 欧阳婧雯本科和硕士均毕业于麻省理工,热爱技巧性滑雪,...

2022/09/14 13:51
123
【联通】数据编排技术在联通的应用

欢迎来到【微直播间】,2min纵览大咖观点,本期分享的题目是数据编排技术在联通的应用。 本次分享内容将围绕四个方面讲述Alluxio数据编排技术在联通的应用,主要围绕缓存加速、存算分离、混合...

Alluxio 源码完整解析 | 你不知道的开源数据编排系统 (上篇)

前言 目前数据湖已成为大数据领域的最新热门话题之一,而什么是数据湖,每家数据平台和云厂商都有自己的解读。整体来看,数据湖主要的能力优势是:集中式存储原始的、海量的、多来源的、多类...

2022/08/26 16:09
2.5K
Alluxio 源码完整解析 | 你不知道的开源数据编排系统(下篇)

回顾 在《Alluxio-源码解析-上》主要讲述了Alluxio本地环境搭建,源码项目结构,服务进程的启动流程和服务间RPC调用。 本篇将在上篇的基础上,继续为大家讲述Alluxio中重点类详解,Alluxio中...

2022/08/26 16:05
1.1K
Alluxio+NVIDIA GPUs : 加速分析和人工智能

越来越多的数据处理使用NVIDIA 计算来实现大规模并行。加速计算的发展意味着无论是在分析、人工智能 (AI) 还是机器学习 (ML) 过程中,对存储的访问也需要更快。 如果数据访问很大程度影响执行...

2022/08/26 16:03
199
新生代工程师手把手教你玩转Alluxio+ML(下篇)

Part 1 Alluxio POSIX API自测性能 使用Alluxio POSIX读文件速度能到多少? 和从云上读取数据相比,使用Alluxio POSIX接口: 更快吗? 快多少? 上篇中提到了很多Alluxio为了加速读取数据做的...

新生代工程师手把手教你玩转Alluxio+ML(上篇)

活动回顾 越来越多的公司在其机器学习平台中运用开源系统Alluxio加速训练任务的数据读取。为了帮助用户在机器学习场景下熟悉和部署Alluxio集群,更快的进行性能测试、分析以及调优,我们邀请...

2022/08/26 16:01
287
Meta(Facebook): 基于Alluxio Shadow Cache优化Presto架构决策

01 动机与背景 Facebook Presto是一个以SQL语言作为接口的分布式实时查询引擎,可以对PB级的数据进行快速的交互式查询。它支持标准的ANSI SQL.包含查询、聚合、JOIN以及窗口函数等。 Alluxi...

金山云团队分享 | 5000字读懂Presto如何与Alluxio搭配

导语 金山云-企业云团队(赵侃、李金辉)在交互查询场景下对Presto与Alluxio相结合进行了一系列测试,并总结了一些Presto搭配Alluxio使用的建议。 本次测试未使用对象存储,计算引擎与存储间...

2022/08/23 10:50
1K

没有更多内容

加载失败,请刷新页面

返回顶部
顶部