文档章节

HDP 中 yarn 和 MR2 的配置

o
 osc_n6euf5h6
发布于 2019/03/19 19:37
字数 592
阅读 6
收藏 0

精选30+云产品,助力企业轻松上云!>>>

       以下说明均以集群中 slave 结点的配置为 48G内存,12块硬盘,12核(core) CPU 为例。

       在 Yarn 中,一个 Container 是一个基础的包含内存和CPU 的单元。为了较好的平衡利用集群的资源,通常建议每块磁盘和每个core 分配1~2 个 container。所以在上面的配置下,每个结点允许最大配置 20 个 container。

       我们给 yarn 分配 40G内存,另外 8G留给操作系统。40G分配给 20 个 container,所以每个 container 分配到 2个G的内存。在 yarn-site.xml 中配置如下:

<property>
    <!-- 总共有多少资源可以被分配 --> <name>yarn.nodemanager.resource.memory-mb</name> <value>40960</value> </property> <property>
    <!-- 分配给AM单个容器可申请的最小内存 --> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property>

 

      MapReduce2 运行在 Yarn 之上,利用 container 去安排 Map 和 Reduce 任务, 配置 MR2 的资源,需要考虑以下三个方面:

    (1)每个 map 和 reduce 任务的物理内存限制

    (2)每个任务的 JVM 堆大小

    (3)每个任务获得的虚拟内存的总量

    每个 map 和 reduce 任务运行在不同的 container 中,因此 Map 和 reduce 最大的内存配置应该等于或大于 yarn.scheduler.minimum-allocation-mb 的值。

在 mapred-site.xml 里配置:

<property>
<!-- AM 中分配给map Container的内存大小 --> <name>mapreduce.map.memory.mb</name> <value>4096</value> </property> <property>
<!-- AM 中分配给 reduce container 的内存大小,一般为 map 的两倍 --> <name>mapreduce.reduce.memory.mb</name> <value>8192</value> </property>

    每个 container 均会开启 JVM , JVM 的堆大小必须小于上面 Map 和 Reduce 的 memory 的配置。因此在 mapred-site.xml 中加入下面的配置:

<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3072m</value>
</property>

<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx6144m</value>
</property>

   上面配置了 Map 和 Reduce 使用的物理内存的上限。map 和 reduce 任务使用的虚拟内存(physical + paged memory)由 yarn container 允许的 ratio 决定。这个ratio 可以在 yarn-site.xml 中进行配置(2.1 是默认值):

<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

 

   综上所述,每个 map 任务可获得如下的内存分配:

(1) 物理 RAM = 4G

(2)map 任务的 container 的 JVM 的堆大小上限 = 3G

(3)虚拟内存上限 = 4*2.1 = 8.4G

 

总的来说,以 yarn.nodemanager. 开头的配置,配置的是硬件资源相关的东西, yarn.scheduler. 开头的配置,配置的是资源调度相关的,其值不能大于 yarn.nodemanager 中相关的资源限制。

下一篇: Adam与SGD
o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
flink1.3.3 on hdp 2.6(hadoop 2.7.3)部署指南

flink1.3.3 on hdp 2.6(hadoop 2.7.3)部署指南 1,从官方下载flink-1.3.3-bin-hadoop27-scala_2.11.tar,解压到/usr/local/ tar -zxvf flink-1.3.3-bin-hadoop27-scala_2.11.tar 2,配置had......

PageYi
2018/09/16
734
0
转载-YARN的内存和CPU配置

Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源...

osc_o1saj84p
2019/01/07
13
0
Hadoop 系列YARN:资源调度平台(YARN参数解读与调优)

YARN:资源调度平台 YARN参数解读与调优 yarn-site.xml文件默认参数: http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml 参数 默认值 说明 yarn.res......

osc_x5bcobu8
2018/11/17
13
0
HAWQ集成Yarn HA作为资源管理服务

一、第一步当然是配置YARN HA,这在使用ambari管理时很简单,这里不在赘述。 二、建立HAWQ的专用资源队列queue 不要手工编辑scheduler设置,最方便的当然是使用queue manager,入口看图。 添...

佣工7001
2018/10/24
0
0
大数据平台HDP-2.6.4安装与配置

大数据平台HDP-2.6.4 安装 与配置 标签(空格分隔): 大数据平台构建 一:关于HDP的介绍 1.1:hdp 是什么 1.2 hdp 的封装的大数据平台组件 二: 系统环境介绍 2.1:系统主机名 2.2: 安装整体...

flyfish225
2018/05/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

我们一定会在人生的更高处相见的

2020.6.7 我知道没人会看到 2021.6.7 我再来写下 每天进步一点点 一年后我就是不一样的我 你也是。 高考加油!

osc_9oidllr2
19分钟前
16
0
esp8266物联网开发一:MicroPython初战江湖

用esp8266做的物联网开发,涉及到固件烧写,固件擦除,代码编写等方面,做一一记录。 1. 固件烧写 首先,下载固件烧写工具:https://www.espressif.com/sites/default/files/tools/flash_dow...

osc_s2b5kacl
20分钟前
20
0
获小黄衫有感

这个作业属于哪个课程 https://edu.cnblogs.com/campus/fzu/2020SpringW/ 一、与软工的开始 在选课的时候咨询学长意见,听上届学长说这门课会有寒假作业,心里很忐忑,又抱有侥幸心理——可能...

osc_r5t7sskd
21分钟前
9
0
ppt 视频不显示控制条

1 正常解决方法 2 如果还不能显示可能是ppt是兼容模式,另存为非兼容模式就好了 后缀是.ppt 现存就好了

osc_hzf6peqc
22分钟前
15
0
五笔经常打不出来的字:温故而知新

遍 ynmp 凸凹 hgmm 凸 hgm 凹mmgd

osc_iy56i6w3
24分钟前
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部