文档章节

Hive - truncate partition、drop partition 区别

ericquan8
 ericquan8
发布于 2015/12/19 23:04
字数 447
阅读 2452
收藏 2

Hive 有两种方法删除指定parition的数据:truncate partition, drop parition

功能:

两者都用于删除数据,即将对应的partition的数据文件删除。


不同点:

truncate 只删除数据文件,保存在mysql中的metadata不会被删除。

drop partition 只删除数据文件且删除在mysql中的metadata。


举例:

表food的结构:

id     bigint
name   string


数据文件,food.data:

1    banana
2    orange
3    apple
4    nutz


导入food.data后查询, select * from food:

输出:

1    banana    20151219
2    orange    20151219
3    apple     20151219
4    nutz      20151219


现在想给food添加一列price: 

ALTER TABLE food ADD COLUMNS (price int);

表结构变成:

id    bigint
name  string
price int


并且把food.data对应位置多加一列:

1    banana    20
2    orange    30
3    apple     30
4    nutz      40


删除旧的数据(drop partition)

TRUNCATE TABLE food PARTITION (dt='20151219');


重新导入包含price信息的food.data,再查询:

1       banana  NULL    20151219
2       orange  NULL    20151219
3       apple   NULL    20151219
4       nutz    NULL    20151219

可见,虽然表格的结构和数据文件都已经有price的信息,但导入后,hive并没有识别出price这列。原因是hive中metadata中没有price的信息。 drop partition只是删除数据文件,并没有删除metadata中的信息。


show partitions food 看看,输出结果:

dt=20151219

证明truncate删除后,分区信息还没有删除。


用drop partition再试一次:

ALTER TABLE food DROP IF EXISTS PARTITION (dt='20151219');

这时show partitions food, 'dt=20151219' 的分区已经被删除。


重新导入包含price信息的food.data,再查询:

1    banana  20      20151219
2    orange  30      20151219
3    apple   30      20151219
4    nutz    40      20151219


总结:

truncate删除分区,只删除数据文件,parttion的信息还保留在配置的mysql中;drop partition删除分区,数据文件和metadata一起清除。

以后大家就根据实际情况选择使用了。


© 著作权归作者所有

ericquan8
粉丝 6
博文 17
码字总数 21510
作品 0
广州
程序员
私信 提问
分区表维护

背景: SENDCONTROLHIS1分区表存在大量无用数据,虽不影响性能,但可以删除部分分区节省存储空间。 --查表空间有哪些对象 select owner,segmentname,segmenttype,partition_name,bytes/1024...

zylhsy
2016/09/03
0
0
Oracle SQL调优之表设计

在看《收获,不止sql优化》一书,并做了笔记,本博客介绍一下一些和调优相关的表比如分区表、临时表、索引组织表、簇表以及表压缩技术 分区表使用与查询频繁而更新数据不频繁的情况,不过要记...

smileNicky
05/18
0
0
Oracle SQL调优之分区表

@[toc] 一、分区表简介 分区通过让您将它们分解为更小且更易于管理的分区(称为分区)来解决支持非常大的表和索引的关键问题。不需要修改SQL查询和DML语句以访问分区表。但是,在定义分区之后...

smileNicky
05/18
0
0
hive 分区(partition)简介

网上有篇关于hive的partition的使用讲解的比较好,转载了: 一、背景 1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,...

大数据之路
2012/10/08
7.4K
0
对现有Hive的大表进行动态分区

分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围,从而提高速度。分区分为两种:静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于...

Zero零_度
2016/07/07
80
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
903
11
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
15
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部