yarn调优-提升并发应用数

原创
2017/03/02 14:26
阅读数 4.1K

架构:yarn+hive

问题:yarn中使用capacity scheduler做任务调度,创建了三个队列分别为不同的场景提供服务。后来发现一个问题,在集群资源充裕的情况下,yarn中的并发applicaiton都特别少,在hive管理界面上,查看应用状态,提示:“ACCEPTED:waiting  for AM contrainer to be allocated,launched and register with RM.”查资料后,我的理解应该是application在等待任务contrainer,由于拿不到资源,导致pending,同时检查memory used和vcores used两个指标均只用了一半资源,集群利用效率上不去

解决:在检查yarn的队列配置中主要有两个参数用来控制application的资源分配

yarn.scheduler.capacity.<queue-path>.user-limit-factor:每个用户能使用队列资源的上线,默认是10,即:10%,因为我们的场景都是单用户使用该队列,我们调到了100;

yarn.scheduler.capacity.<queue-path>.maximum-am-resource-percent:队列资源拿多少资源出来分配给application(注意:yarn中container有两种用途,一种是分配给application,另外一种是分配给map或者reducer任务)

重启服务器后,观察队列的使用情况,集群效率低的问题得到了很大的改善。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部