加载中
自建Hadoop迁移MaxCompute

场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数据集群,为了降低企业大数据计算平台的成本,提高大数据应用开发效率,更有效保障数据安全,把大数据集群的数据、作业、调度任务以及...

2020/04/30 14:39
31
hive-3.1.2 整合进 hadoop-3.3.0 + hbase-2.2.4

一、下载匹配hadoop-3.x.y 版本的hive 3.1.2 下载地址 : http://mirror.bit.edu.cn/apache/hive/ 二、上传至安装目录 /home/apache-hive-3.1.2-bin.tar.gz 解压:tar -zxvf apache-hive-3.1...

MaxCompute 搬站的原理、实践以及常见问题

https://yq.aliyun.com/articles/744913 MaxCompute 是阿里巴巴自研的旗舰大数据仓库服务,与开源 Hadoop 搭建的数仓相比,一个很大的不同点是 MaxCompute 并不直接开放类似 HDFS 这样的分布...

2020/03/19 20:04
3
数据湖架构,为什么需要“湖加速”?

在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于这一范式,大数据架构师需要考虑三件事情: 第一,选择什么样的存储系统做数据湖(湖存储...

阿里巴巴12月才会发布的932页的Java架构师核心学习面试手册,我已经拿到,限时领取!

这份学习笔记是一位阿里的大牛所写,这份手册将会从JVM开始写起,每个部分一个章节,涵盖了很全面的Java体系知识,这份学习笔记可以闲暇之时拿出观阅! 这份手册涉及JVM、多线程与高并发、S...

详解HDFS3.x新特性-纠删码

EC介绍 Erasure Coding 简称EC,中文名:纠删码 EC(纠删码)是一种编码技术,在HDFS之前,这种编码技术在廉价磁盘冗余阵列(RAID)中应用最广泛(RAID介绍:大数据预备知识-存储磁盘、磁盘冗...

昨天 07:03
27
数据的存储结构浅析LSM-Tree和B-tree

目录 顺序存储与哈希索引 SSTable和LSM tree B-Tree 存储结构的比对 小结 本篇主要讨论的是不同存储结构(主要是LSM-tree和B-tree),它们应对的不同场景,所采用的底层存储结构,以及对应用...

2020/06/05 08:16
172

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部