文档章节

yarn调优-提升并发应用数

彭苏云
 彭苏云
发布于 2017/03/02 14:26
字数 316
阅读 709
收藏 0

架构:yarn+hive

问题:yarn中使用capacity scheduler做任务调度,创建了三个队列分别为不同的场景提供服务。后来发现一个问题,在集群资源充裕的情况下,yarn中的并发applicaiton都特别少,在hive管理界面上,查看应用状态,提示:“ACCEPTED:waiting  for AM contrainer to be allocated,launched and register with RM.”查资料后,我的理解应该是application在等待任务contrainer,由于拿不到资源,导致pending,同时检查memory used和vcores used两个指标均只用了一半资源,集群利用效率上不去

解决:在检查yarn的队列配置中主要有两个参数用来控制application的资源分配

yarn.scheduler.capacity.<queue-path>.user-limit-factor:每个用户能使用队列资源的上线,默认是10,即:10%,因为我们的场景都是单用户使用该队列,我们调到了100;

yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent:队列资源拿多少资源出来分配给application(注意:yarn中container有两种用途,一种是分配给application,另外一种是分配给map或者reducer任务)

重启服务器后,观察队列的使用情况,集群效率低的问题得到了很大的改善。

© 著作权归作者所有

彭苏云
粉丝 43
博文 204
码字总数 54255
作品 0
广州
高级程序员
私信 提问
spark submit参数及调优

spark submit参数介绍 你可以通过spark-submit --help或者spark-shell --help来查看这些参数。 使用格式: ./bin/spark-submit --class --master --deploy-mode --conf = ... # other option......

citibank
2018/07/17
0
0
Flink on Yarn模式下的TaskManager个数

本文探讨Flink on YARN 单一作业提交模式下的并发以及Task Manager等特性。 Flink on YARN支持两种模式,一种是预先在YARN上启动一个long-running的Flink集群,所有的Flink作业都会提交到这个...

biggeng
05/15
0
0
【Spark】Spark On Yarn 环境搭建及 WordCount 程序原理深度剖析

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86652088 1、Spark On Yarn 环境搭建 参考文献:http://spark.apache.org/doc...

魏晓蕾
01/31
0
0
Hadoop 跑满状态下的 Yarn 资源管理谈

一、历史和由来 当下Hadoop稳定在了2.x.x版本,3.x版本也基本production stable了,虽然敢用的公司很少。在Hadoop 2.x后,都是用 Yarn (Apache Hadoop Yarn )来管理集群的计算资源。 随着互...

大数据之路
2012/10/11
4.5K
0
Npm vs Yarn 之备忘大全

有则笑话,如此讲到:“老丈人爱吃核桃,昨天买了二斤陪妻子送去,老丈人年轻时练过武,用手一拍核桃就碎了,笑着对我说:你还用锤子,你看我用手就成。我嘴一抽,来了句:人和动物最大的区别...

jeffjade
2018/01/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
昨天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
昨天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部