文档章节

hive参数

纳兰清风
 纳兰清风
发布于 2016/04/20 15:06
字数 290
阅读 253
收藏 0

精选30+云产品,助力企业轻松上云!>>>

MAPREDUCE:


mapred.job.queue.name 队列名称

内存相关:

mapreduce.reduce.memory.mb 每个Reduce Task需要的内存量(默认1024)

mapreduce.map.memory.mb 每个Map Task需要的内存量(默认1024)


JVM:

mapred.child.java.opts 同时设置map和reduce的jvm参数

mapred.map.child.java.opts 分开设置map的jvm参数,包括GC策略

mapred.reduce.child.java.opts 分开设置reduce的jvm参数

mapreduce.map.java.opts 分开设置map的jvm参数,包括GC策略

mapreduce.reduce.java.opts 分开设置reduce的jvm参数


压缩:

mapred.output.compress 最后一个map/reduce的输出是否压缩

mapred.output.compression.codec 输出数据的压缩方式

mapred.output.compression.type 压缩类型



HIVE:


压缩

hive.exec.compress.output 查询中最后一个map/reduce的输出是否压缩

hive.exec.compress.intermediate 查询的中间map/reduce的输出是否压缩

hive.auto.convert.join 如果表足够小(默认小于25M)则载入内存在map阶段执行join,即MapJoin

hive.ignore.mapjoin.hint 忽略MAPJOIN写法,而是自动检查是否转换


动态分区:

hive.exec.dynamic.partition 查询结果是否动态分区

hive.exec.dynamic.partition.mode strict该模式下必须指定一个静态分区,nostrict该模式下不必指定静态分区,没有限制

hive.exec.max.dynamic.partitions.pernode 在每一个mapper/reducer节点允许创建的最大分区数

hive.exec.max.dynamic.partitions 允许创建的最大分区数


纳兰清风

纳兰清风

粉丝 33
博文 36
码字总数 42398
作品 0
朝阳
程序员
私信 提问
加载中
请先登录后再评论。

暂无文章

4.17. HTTP 请求走私

文章目录 4.17. HTTP 请求走私 4.17.1. 简介 4.17.2. 成因 4.17.3. 分类 4.17.4. 攻击 4.17.4.1. CL不为0的GET请求 4.17.4.2. CL-CL 4.17.4.3. CL-TE 4.17.4.4. TE-CL 4.17.4.5. TE-TE 4.17......

osc_2wq8ft8d
13分钟前
11
0
2020年蓝桥杯B组个人题解(热的,不知道对错)

文章目录 A B C D E F G H I J 总结 现在是蓝桥杯刚结束,趁着有记忆,写下这篇博客,不知道对错,如果我错了,请指出。 A 因为是到0就结束了,那么每次看看-600是否结束,如果没有结束就+30...

osc_1m04dwae
14分钟前
0
0
AXI4_full协议详解

AXI4-full协议介绍 AXI4.0-full包含突发控制信号,所以可以进行突发传输,在只指定一次地址后,可以一次传输多达256个数据(数据的宽度取决于带宽)。主要用于往DDR或者OCM中写入大量数据时使用...

whoisliang
14分钟前
8
0
【VMWare虚拟机Centos7安装配置redis及Redis常用命令合集】

前置依赖 1.Redis依赖gcc和tcl环境,所以要先安装gcc和tcl 执行下面语句安装gcc: yum install gcc-c++ 若提示是否继续,输入y继续安装 执行下面语句安装tcl: yum install -y tcl 下载red...

osc_s4durjz5
14分钟前
0
0
LeetCode 323. 无向图中连通分量的数目(并查集)

文章目录 1. 题目 2. 解题 1. 题目 给定编号从 0 到 n-1 的 n 个节点和一个无向边列表(每条边都是一对节点),请编写一个函数来计算无向图中连通分量的数目。 示例 1:输入: n = 5 和 edge...

osc_lk0wespa
16分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部