文档章节

hive参数

纳兰清风
 纳兰清风
发布于 2016/04/20 15:06
字数 290
阅读 156
收藏 0

MAPREDUCE:


mapred.job.queue.name 队列名称

内存相关:

mapreduce.reduce.memory.mb 每个Reduce Task需要的内存量(默认1024)

mapreduce.map.memory.mb 每个Map Task需要的内存量(默认1024)


JVM:

mapred.child.java.opts 同时设置map和reduce的jvm参数

mapred.map.child.java.opts 分开设置map的jvm参数,包括GC策略

mapred.reduce.child.java.opts 分开设置reduce的jvm参数

mapreduce.map.java.opts 分开设置map的jvm参数,包括GC策略

mapreduce.reduce.java.opts 分开设置reduce的jvm参数


压缩:

mapred.output.compress 最后一个map/reduce的输出是否压缩

mapred.output.compression.codec 输出数据的压缩方式

mapred.output.compression.type 压缩类型



HIVE:


压缩

hive.exec.compress.output 查询中最后一个map/reduce的输出是否压缩

hive.exec.compress.intermediate 查询的中间map/reduce的输出是否压缩

hive.auto.convert.join 如果表足够小(默认小于25M)则载入内存在map阶段执行join,即MapJoin

hive.ignore.mapjoin.hint 忽略MAPJOIN写法,而是自动检查是否转换


动态分区:

hive.exec.dynamic.partition 查询结果是否动态分区

hive.exec.dynamic.partition.mode strict该模式下必须指定一个静态分区,nostrict该模式下不必指定静态分区,没有限制

hive.exec.max.dynamic.partitions.pernode 在每一个mapper/reducer节点允许创建的最大分区数

hive.exec.max.dynamic.partitions 允许创建的最大分区数


© 著作权归作者所有

共有 人打赏支持
纳兰清风
粉丝 31
博文 34
码字总数 32526
作品 0
朝阳
程序员

暂无文章

java并发备忘

不安全的“先检查后执行”,代码形式如下: if(条件满足){ //这里容易出现线程安全问题//doSomething}else{//doOther} 读取-修改-写入 原子操作:使用CAS技术,即首先从V中读取...

Funcy1122
今天
0
0
SpringBoot2.0 停机

最近新建了个SpringBoot2.0的项目,因为原来一直使用的是传统的Tomcat部署war包的形式,所以这次SpringBoot内置Tomcat部署jar包的时候遇到了很多问题。其中一个就是因为没有外置的Tomcat容器...

Canaan_
昨天
0
1
Confluence 6 外部参考

一个外部参考的意思是任何站点链接到你 Confluence 的实例。任何时候当 Confluence 的用户单击这个外部链接的时候,Confluence 可以记录这次单击为参考。 在默认的情况下,外部链接的参考链接...

honeymose
昨天
0
0
Android中的设计模式之抽象工厂模式

参考 《设计模式解析》 第十一章 Abstract Factory模式 《设计模式:可复用面向对象软件的基础 》3.1 Abstract Factory 抽象工厂 对象创建型模式 《Android源码设计模式解析与实战》第6章 创...

newtrek
昨天
0
0
Redis | 地理空间(GEO)的一个坑

Redis的地理空间(Geo)是个好东西,轻轻松松的就可以把地图描点的问题处理了, 最近却遇到一个坑...Redis采用的Msater-Slave模式, 运用GEORADIUS在salve读取对应的数据,新增了从节点但是从不返...

云迹
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部