陈猿解码的个人空间 - OSCHINA - 中文开源技术交流社区

陈猿解码

当你的才华还撑不起你的野心时，那你就应该静下心来学习

2.5K

经验值

开源豆

粉丝

关注

关注私信

连击天

fork: star:

加载中

【概述】上一篇文章中提到了，nm进程重启后会根据记录的信息进行恢复或重新创建container进程，那么NM将container的哪些信息记录到了本地，重启过程中又是如何读取并恢复的，本文就来聊聊相...

container application init yarn support leveldb containerprefix containerid kill done token

hncscwc

2021/04/28 23:52

181

【概述】上篇文章讲述了yarn任务提交运行的流程，本文来聊聊整个运行过程中的一些异常情况，以及yarn是如何处理的。【container进程异常】在NM内部，对于container进程的启动，都是在一个...

container yarn attempt support node flink spark kill expire amlaunch complete rmnodeimpl done

hncscwc

2021/04/27 23:37

111

【概述】学习yarn，就不得不涉及yarn的任务运行流程，虽然网上有很多文章进行相关的总结，但总觉得是别人，因此还是按照自己的理解，进行总结分享，也算是对过程的输出交付。【名词概念】 ...

application yarn container 存储服务 flink spark support attempt reduce executor mapreduce

hncscwc

2021/04/25 22:01

2.6K

【配额】 HDFS中，配额用于限制目录的使用空间，具体可分为名称配额和空间配额。空间配额指的是单个目录中所有文件总的大小限制，文件副本的大小也计算在内。名称配额指的是根目录树中的文...

hdfs https support jira apache editlog inode fsiamge count inodewithadditionalfields inodedirectory

hncscwc

2021/04/17 22:59

406

【一些概念】本地化（Localization）将资源下载到本地的过程，这样container运行时可以从本地加载而不是从访问远端的文件。资源（Resource）资源表示运行container所需要的一个文件或lib...

application support type container yarn hdfs private public filecache user privlocalizers usercache

hncscwc

2021/04/07 23:59

183

【概述】在YARN中，不管是ApplicationMaster（后面均简称AM），还是一般的container（例如MR中的map任务、reduce任务；Spark中的executor或者Flink中的TaskManager），都有各自的启动上下文...

yarn unix spark flink application support reduce executor windows hdfs protobuf hadoop bash

hncscwc

2021/04/01 23:51

129

没有更多内容

加载失败，请刷新页面

没有更多内容

陈猿解码

技能雷达

Gitee 贡献

博客数据统计

OSCHINA 社区

在线工具

攻略

公众号

视频号

问题反馈