加载中
为数据计算提供强力引擎,阿里云文件存储HDFS v1.0公测发布

在2019年3月的北京云栖峰会上,阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户TCO。阿里云文...

2019/04/02 15:09
111
JindoFS:云原生的大数据计算存储分离方案

JindoFS:云原生的大数据计算存储分离方案 JindoFS 之前 在 JindoFS 之前,云上客户主要使用 HDFS 和 OSS/S3 作为大数据存储。HDFS 是 Hadoop 原生的存储系统,10 年来,HDFS 已经成为大数据...

2019/10/08 10:52
726
基于JindoFS+OSS构建高效数据湖

为什么要构建数据湖 大数据时代早期,Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随着云计算、大数据、AI 等技术的发展,所有云厂商都在不断完善自家的对象存储,来更好地适配 ...

数据湖架构,为什么需要“湖加速”?

在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于这一范式,大数据架构师需要考虑三件事情: 第一,选择什么样的存储系统做数据湖(湖存储...

MaxCompute 搬站的原理、实践以及常见问题

MaxCompute 是阿里巴巴自研的旗舰大数据仓库服务,与开源 Hadoop 搭建的数仓相比,一个很大的不同点是 MaxCompute 并不直接开放类似 HDFS 这样的分布式文件系统的接口,数据进出 MaxCompute...

阿里云 E-MapReduce 全面支持 Alluxio,为大数据全“源”加速

导读:阿里云 E-MapReduce全面支持Alluxio,Alluxio作为大数据领域存储层解决方案,将大幅提升EMR产品服务能力。Alluxio可以对数据源进行性能优化和缓存加速,让计算层和存储层能够轻装上阵,...

2020/12/15 10:48
119
Spark in action on Kubernetes - 存储篇(一)

前言 在上篇文章中,我们分析了Spark Operator内部的机制,今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房,小到外卖打车,...

Spark in action on Kubernetes - 存储篇(一)

前言 在上篇文章中,我们分析了Spark Operator内部的机制,今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房,小到外卖打车,...

2019/04/19 14:24
131
Hadoop Hive迁移至MaxCompute

本文向您详细介绍如何将 Hadoop Hive 数据迁移到阿里云MaxCompute大数据计算服务上。 一、环境准备 1.1、Hadoop集群环境 在进行 Hadoop Hive 数据迁移前,您需要保证自己的Hadoop集群环境正常...

2019/05/06 15:02
316
你应该知道的 HBase 基础,都在这儿了

阿里妹导读:2006 年10 月Google 发布三架马车之一的《Bigtable:A Distributed Storage System for Strctured Data》论文之后,Powerset 公司就宣布 HBase 在 Hadoop 项目中成立,作为子项目...

解密 云HBase 冷热分离技术原理

前言 HBase是当下流行的一款海量数据存储的分布式数据库。往往海量数据存储会涉及到一个成本问题,如何降低成本。常见的方案就是通过冷热分离来治理数据。冷数据可以用更高的压缩比算法(ZST...

2019/12/04 11:14
74
使用Spark Streaming SQL基于时间窗口进行数据统计

1.背景介绍 流式计算一个很常见的场景是基于事件时间进行处理,常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间,或者业务系统中记录了用户操作...

2019/07/08 10:38
1.9K
Flink + Iceberg 数据湖探索与实践

01 数据仓库平台建设的痛点 痛点一: 我们凌晨一些大的离线任务经常会因为一些原因出现延迟,这种延迟会导致核心报表的产出时间不稳定,有些时候会产出比较早,但是有时候就可能会产出比较晚...

离线数据同步神器:DataX,支持几乎所有异构数据源的离线同步到MaxCompute

摘要: 概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS ...

2018/11/13 16:08
3K
EMR 打造高效云原生数据分析引擎

本场视频链接:EMR打造高效云原生数据分析引擎 本场ppt材料:https://www.slidestalk.com/AliSpark/2019___0926_110365 基于开源体系打造云上数据分析平台 客户选择开源方案的原因主要有以下...

【数据湖构建篇】多引擎集成挖掘湖上数据价值

数据湖已经逐步走到了精细化的管理,这意味着原始的计算引擎直接读写存储的方式应当逐步演变为使用标准方式读写数据湖存储。然而“标准方式”实际上并无业界标准,与具体的计算引擎深度绑定,...

TPCx-BB官宣最新世界纪录,阿里巴巴计算力持续突破

2019年9月17日,TPC官宣Alibaba Cloud MaxCompute认证结果。同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除H...

2019/10/17 11:58
212
数据湖 VS 数据仓库之争?阿里提出大数据架构新概念:湖仓一体

随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台,各大云厂商也在纷纷的提出自己的数据湖解决方案,一些云数仓产品也增加了...

如何将Elasticsearch的快照备份至OSS

前言 Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎。它可以在近实时条件下,存储,查询和分析海量的数据。它还支持将快照备份至HDFS/S3上面,而阿里云OSS兼容S3的API,本文将介...

2019/07/16 10:17
4K
JindoFS解析 - 云上大数据高性能数据湖存储方案

作者:殳鑫鑫,花名辰石,阿里巴巴计算平台事业部EMR团队技术专家,目前从事大数据存储以及Spark相关方面的工作。 2019 年云栖大会上,EMR Jindo 的技术存储分离方案得到很大的关注,视频直达...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部