加载中
YARN——NM重启后的任务恢复

【概述】 上一篇文章中提到了,nm进程重启后会根据记录的信息进行恢复或重新创建container进程,那么NM将container的哪些信息记录到了本地,重启过程中又是如何读取并恢复的,本文就来聊聊相...

2021/04/28 23:52
181
YARN——任务运行异常处理

【概述】 上篇文章讲述了yarn任务提交运行的流程,本文来聊聊整个运行过程中的一些异常情况,以及yarn是如何处理的。 【container进程异常】 在NM内部,对于container进程的启动,都是在一个...

YARN——任务提交启动流程

【概述】 学习yarn,就不得不涉及yarn的任务运行流程,虽然网上有很多文章进行相关的总结,但总觉得是别人,因此还是按照自己的理解,进行总结分享,也算是对过程的输出交付。 【名词概念】 ...

HDFS——配额

【配额】 HDFS中,配额用于限制目录的使用空间,具体可分为名称配额和空间配额。 空间配额指的是单个目录中所有文件总的大小限制,文件副本的大小也计算在内。 名称配额指的是根目录树中的文...

2021/04/17 22:59
396
YARN——NM的资源管理

【一些概念】 本地化(Localization) 将资源下载到本地的过程,这样container运行时可以从本地加载而不是从访问远端的文件。 资源(Resource) 资源表示运行container所需要的一个文件或lib...

2021/04/07 23:59
183
YARN——Container启动上下文

【概述】 在YARN中,不管是ApplicationMaster(后面均简称AM),还是一般的container(例如MR中的map任务、reduce任务;Spark中的executor或者Flink中的TaskManager),都有各自的启动上下文...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部