文档章节

hive产生很多.staging_hive文件

cjun1990
 cjun1990
发布于 2016/12/06 10:33
字数 315
阅读 1284
收藏 1

在使用spark-streaming的时候,调用了spark-sql,会执行hive语句,这个时候在hive的目录下回产生很多.staging_hive文件,而且是操作哪个表,就在哪个表中产生。hive也会产生.staging_hive,但是hive产生后会被移除,而spark-sql不会移除,所以我们需要手动处理这种情况。

  1. 在hive-site.xml中添加如下属性,所有的.staging-hive*文件都产生到/tmp/staging/目录下了。在cm的hive配置中,这一部分的配置需要加在“hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)”这一项中,因为这一部分的配置是生效在hive的客户端中,加在服务器端是没用的,不生效。.hive-staging只是产生文件的前缀,不是目录。
<property>
    <name>hive.exec.stagingdir</name>
    <value>/tmp/staging/.hive-staging</value>
</property>
  1. 写shell脚本,定时去/tmp/hive/staging/.staging目录下清除文件,注意,清除文件一定要清除昨天的,今天产生的有可能正好在用,如果被移除了,则会报错,调试的时候碰到过这种情况。

参考:
hive任务中MoveTask的策略
hive insert overwrite1.2.1 无法删除旧文件的问题

© 著作权归作者所有

cjun1990
粉丝 35
博文 371
码字总数 183914
作品 0
深圳
程序员
私信 提问
运营大规模HDFS集群必看:系统升级后,怎么性能反而恶化了?!

本文以唯品会HDFS实际应用场景和问题导向触发,介绍了优化方案的局限性,分享了这些局限性的解决和实施经验。这对于技术运营较大规模的HDFS集群有一定借鉴意义。 HDFS是一个分布式系统,只要...

大数据平台
05/14
0
0
Impala和Hive集成Sentry、Kerberos认证

关于 Kerberos 的安装和 HDFS 配置 kerberos 认证,请参考 HDFS配置kerberos认证。 关于 Kerberos 的安装和 YARN 配置 kerberos 认证,请参考 YARN配置kerberos认证。 关于 Kerberos 的安装和...

hblt-j
2018/12/13
82
0
Sqoop使用总结

Import 导入整个表 目标目录:--target-dir --warehouse-dir (parentdir,当导入多个表的时候,不需要多次指定输出目录) 导入表的部分数据 --where (用来过滤数据) 安全问题,密码隐藏 –p (...

writeademo
2016/12/22
153
0
永久自定义hive函数

永久自定义hive函数 1:做这件事的原因: 有一些函数是比较基础的,公用的,每次都要create temporary function麻烦了,这样的基础函数需要直接集成到hive中去,避免每次都要创建。 2:步骤 ...

八戒_o
2016/04/26
158
0
Sqoop:容错

权声明:本文为博主原创文章,未经博主允许不得转载。 Sqoop本身的容错依赖于Hadoop,这里我们focus在Sqoop传输任务失败的处理,确切的说,focus在Sqoop如何解决传输任务失败引发的数据一致性...

Zero零_度
2016/09/22
29
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Cloud Alibaba 实战(二) - 关于Spring Boot你不可不知道的实情

0 相关源码 1 什么是Spring Boot 一个快速开发的脚手架 作用 快速创建独立的、生产级的基于Spring的应用程序 特性 无需部署WAR文件 提供starter简化配置 尽可能自动配置Spring以及第三方库 ...

JavaEdge
今天
7
0
TensorFlow 机器学习秘籍中文第二版(初稿)

TensorFlow 入门 介绍 TensorFlow 如何工作 声明变量和张量 使用占位符和变量 使用矩阵 声明操作符 实现激活函数 使用数据源 其他资源 TensorFlow 的方式 介绍 计算图中的操作 对嵌套操作分层...

ApacheCN_飞龙
今天
7
0
五、Java设计模式之迪米特原则

定义:一个对象应该对其他对象保持最小的了解,又叫最小知道原则 尽量降低类与类之间的耦合 优点:降低类之间的耦合 强调只和朋友交流,不和陌生人说话 朋友:出现在成员变量、方法的输入、输...

东风破2019
昨天
23
0
jvm虚拟机结构

1:jvm可操作数据类型分为原始类型和引用类型,因此存在原始值和引用值被应用在赋值,参数,返回和运算操作中,jvm希望在运行时 明确变量的类型,即编译器编译成class文件需要对变量进行类型...

xpp_ba
昨天
5
0
聊聊nacos Service的processClientBeat

序 本文主要研究一下nacos Service的processClientBeat Service.processClientBeat nacos-1.1.3/naming/src/main/java/com/alibaba/nacos/naming/core/Service.java public class Service ex......

go4it
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部