Spark 与MapReduce 资源调度方面的简单对比

原创
2019/04/10 17:48
阅读数 366

spark-粗粒度的资源调度:

在Application执行之前,先将所有的资源申请完毕,才会执行任务的调度,直到最后一个task执行完毕,才会释放掉这些资源

优点:每一个task执行之前不需要自己去申请资源,直接去用资源就可以,那么每一个task执行时间就会缩短了,
    stage时间也缩短了,job的执行时间也缩短了,app的时间也就缩短了
缺点:一直到最后一个task执行完毕才会释放支援,集群的资源不能充分利用

MapReduce-细粒度的资源调度

在application执行之前不需要先将资源申请完毕,而是直接进行任务调度,每一个task在执行之前自己去申请资源,申请到了就执行,
申请不到就继续申请,每一个task执行完毕后后悔自己将申请的资源释放掉
优点:充分利用集群的资源情况
缺点:task执行的时间变长了

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部