YARN分析系列之二 -- Hadoop YARN各个自模块说明

2019/06/19 23:10
阅读数 126

  先做如下声明,本代码版本是基于 3.1.2 版本。

  其实,我们自己在写代码的时候,会有意识地将比较大的功能项独立成包,独立成module, 独立成项目,项目之间的关系既容易阅读理解,又便于管理。

  如下,是hadoop-yarn-project的module截图: 

 

  Hadoop YARN 的大部分功能在 hadoop-yarn-project module 下,现将该module下各个module 的功能做一个大致的说明【顺序按上面截图自上而下】:

  hadoop-yarn-api:YARN的跨平台外部接口。定义了 公共的 Application Master 的拦截器、相关资源的API、YARN服务以及通信过程中用到的records类以及相关的工具类、相关异常、

  hadoop-yarn-application:其下包含了5个module, 分别是 

    hadoop-yarn-applications-catalog:YARN应用程序catalog是用于在Hadoop上部署支持docker的云应用程序的应用程序catalog。简言之,这部分是 对docker 的支持的catalog

    hadoop-yarn-applications-distributedshell:对分布式运行脚本的支持

    hadoop-yarn-applications-unmanaged-am-launcher:UnmanagedLauncher是一个启动和非托管AM的简单客户端。非托管AM是由RM未启动和管理的AM。客户端在RM上创建新应用程序并协商新的attempt ID。然后等待RM应用程序状态到达YarnApplicationState.ACCEPTED,之后它在另一个进程中生成AM并通过env变量Environment.CONTAINER_ID将容器ID传递给它。 AM可以使用任何语言。 AM可以使用从容器ID获得的尝试ID向RM注册并正常进行。客户端将app stdout和stderr重定向到自己的stdout和stderr,并等待AM进程退出。然后它等待RM报告应用程序完成。

    hadoop-yarn-services:包含两个module,hadoop-yarn-services-api 提供了YARN 服务的客户端API、以及用于YARN 服务的 API;hadoop-yarn-services-core 提供了 yarn 服务的框架

  hadoop-yarn-client:hadoop yarn 的客户端 API 以及 相关工具类支持

  hadoop-yarn-common:hadoop yarn 的client和 server 的 公用工具类库,定义了一些用于网络传输的 pb实现的record以及创建records 的工厂,事件的分发器、ipc、日志汇集相关的支持、Node的label的支持、和对安全的支持、sharedcache 的checksum的校验、状态机的定义、图的定义以及 web 前端的支持等。

  hadoop-yarn-registry:现在该部分功能已经迁移到 hadoop-common-project module 下的 hadoop-registry module 下面,主要功能是负责 hadoop Service 的注册,包括服务注册的命令行工具类org.apache.hadoop.registry.cli.RegistryCli;YARN client注册的API,注册绑定的工具类、定义了注册服务过程的异常、以及 Curator 和 Zookeeper 对 服务发现绑定的 支持、DNS Server的创建来帮助服务发现或者YARN 应用,以及和 RM 的集成,以及服务端为YARN 提供服务注册的基础服务等。

  hadoop-yarn-server module下包含了如下模块【下面模块中以 hadoop-yarn-server开头的module】:

  hadoop-yarn-server-applicationhistoryservice:applicationhistoryservice 服务

  hadoop-yarn-server-common:nodemanager 和 resourcemanager 的共享 API

  hadoop-yarn-server-nodemanager: nodemanager 服务,替代了 hadoop的TaskTracker

  hadoop-yarn-server-resourcemanager: resourcemanager 服务, 替代了 hadoop的JobTracker

  hadoop-yarn-server-router:hadoop yarn的 router 服务

  hadoop-yarn-server-sharedcachemanager:sharedcache 服务

  hadoop-yarn-server-tests:这个是一个测试的module主要对 hadoop-yarn-server module下的各个module的测试

  hadoop-yarn-server-timeline-pluginstorage:timeline-pluginstorage,请求查询映射到缓存的接口

  hadoop-yarn-server-timelineservice:timelineservice 持久化服务。timelineservice 主要负责两种持久化服务:

  hadoop-yarn-server-timelineservice-hbase:使用hbase 作为 timelineservice 的底层持久化介质的接口

  hadoop-yarn-server-timelineservice-hbase-tests:timelineservice-hbase 的测试类

  hadoop-yarn-server-web-proxy:hadoop yarn server的web proxy

  hadoop-yarn-site:关于 hadoop yarn 的一些关键的概念架构和相关术语的解释

  hadoop-yarn-ui:yarn前端UI

  注:以上各个模块的功能只是简单根据module 包说明做的简单汇总说明,可能概括的不是很准确,后面写到具体模块时,会同步更新对应module 的功能概述。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部