文档章节

hive参数

纳兰清风
 纳兰清风
发布于 2016/04/20 15:06
字数 290
阅读 135
收藏 0
点赞 1
评论 0

MAPREDUCE:


mapred.job.queue.name 队列名称

内存相关:

mapreduce.reduce.memory.mb 每个Reduce Task需要的内存量(默认1024)

mapreduce.map.memory.mb 每个Map Task需要的内存量(默认1024)


JVM:

mapred.child.java.opts 同时设置map和reduce的jvm参数

mapred.map.child.java.opts 分开设置map的jvm参数,包括GC策略

mapred.reduce.child.java.opts 分开设置reduce的jvm参数

mapreduce.map.java.opts 分开设置map的jvm参数,包括GC策略

mapreduce.reduce.java.opts 分开设置reduce的jvm参数


压缩:

mapred.output.compress 最后一个map/reduce的输出是否压缩

mapred.output.compression.codec 输出数据的压缩方式

mapred.output.compression.type 压缩类型



HIVE:


压缩

hive.exec.compress.output 查询中最后一个map/reduce的输出是否压缩

hive.exec.compress.intermediate 查询的中间map/reduce的输出是否压缩

hive.auto.convert.join 如果表足够小(默认小于25M)则载入内存在map阶段执行join,即MapJoin

hive.ignore.mapjoin.hint 忽略MAPJOIN写法,而是自动检查是否转换


动态分区:

hive.exec.dynamic.partition 查询结果是否动态分区

hive.exec.dynamic.partition.mode strict该模式下必须指定一个静态分区,nostrict该模式下不必指定静态分区,没有限制

hive.exec.max.dynamic.partitions.pernode 在每一个mapper/reducer节点允许创建的最大分区数

hive.exec.max.dynamic.partitions 允许创建的最大分区数


© 著作权归作者所有

共有 人打赏支持
纳兰清风
粉丝 30
博文 32
码字总数 32526
作品 0
朝阳
程序员

暂无相关文章

Java序列化和反序列化

1、什么是序列化和反序列化 序列化:把对象转换为字节序列的过程。 反序列化:把字节序列恢复成对象的过程。 2、被序列化的类需要实现serializable接口,只是为了标注该对象是可以被序列化的...

IT-Mamba ⋅ 3分钟前 ⋅ 0

流式构建原理

流式构建需要达到分钟级的数据更新频率,Kylin采用类似于Spark Streaming的做法,每隔数分钟进行一次微构建。这边的构建需要考虑到一个延迟因素,分布式网络存在延迟等因素,该时间段的数据有...

无精疯 ⋅ 4分钟前 ⋅ 0

在maven项目工程编写solr代码,需要的依赖

solrJ <dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId> <version>6.6.2</version> </dependency> <dependency> <groupId>org.apache.httpcomponents<......

爱运动的小乌龟 ⋅ 11分钟前 ⋅ 0

Spring Cloud Config

Spring Cloud Config application.yml 和 bootstrap.yml 区别 加载顺序 bootstrap.yml 先加载 application.yml 后加载 bootstrap.yml 用于应用程序上下文的引导阶段。 bootstrap.yml 由父 Sp...

施长成 ⋅ 21分钟前 ⋅ 0

MapReduce V2——YARN调度

一、MapReduce的局限性 1、JobTracker的单点问题 2、TaskTracker的作业信息分配的过于简单,当有资源消耗较大的或者时间较长的Task分配在同一个节点上的时候,容易失败或者等待时间过长 3、作...

cjxcloud ⋅ 22分钟前 ⋅ 0

EOS踩坑--脆弱的数据库

安装EOS我就不在这赘述了,来唠唠EOS踩到的坑,跟着官方文档走,然后到了同步数据的时候,Ctrl+Z结束了之后,再次运行报错 root@ubuntu:~# nodeos -e -p eosio --plugin eosio::chain_api_pl...

开源首席鉴黄师 ⋅ 22分钟前 ⋅ 0

对于程序员的招聘问题,作为软件人的一些吐槽和建议

作为软件人,找工作有时候似乎挺苦逼的。 说真的,让我去掉前面这句中“似乎”二字吧。就是苦逼!很多人都曾抱怨处在招聘的一方很糟糕——我们没有任何可靠的方式来甄别会写代码并且写得好的...

老道士 ⋅ 37分钟前 ⋅ 0

Linux下MySQL表名不区分大小写的设置方法(抄袭别人的)

Linux下MySQL表名不区分大小写的设置方法 MySQL表名不区分大小写的设置方法 在用centox安装mysql后,把项目的数据库移植了过去,发现一些表的数据查不到,排查了一下问题,最后发现是表名的大...

随风而浮沉 ⋅ 46分钟前 ⋅ 0

ubuntu下安装宋体simsun

sudo cp simsun.ttc /usr/share/fonts cd /usr/share/fonts sudo chmod 644 simsun.ttc 更新字体缓存: 代码: sudo mkfontscale 代码: sudo mkfontdir 代码: sudo fc-cache -fsv 安装chrome扩......

wangxuwei ⋅ 48分钟前 ⋅ 0

利用 ssh 传输文件

Linux 下一般可以用 scp 命令通过 ssh 传送文件: #把服务器上的 /home/user/a.txt 发送到本机的 /var/www/local_dir 目录下scp username@servername:/home/user/a.txt /var/www/local_dir...

大灰狼时间 ⋅ 58分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部