文档章节

CDH5动静态资源池配置与回滚

hblt-j
 hblt-j
发布于 01/20 17:49
字数 784
阅读 8
收藏 0

关于动态 静态资源池的配置以前都有提过,可以从以下几篇了解:

YARN动态资源池配置案例 https://yq.aliyun.com/ziliao/346856#

Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

Hadoop 2.0中Capacity Scheduler与Fair Scheduler对比

Hadoop权限管理

而如果不小配错了想回滚怎么办???

动态池还好说重设刷新资源状态就好, 静态的可以参考如下:

 



解决办法:
英文好的就看原文吧:

  1. Disabling Static Service Pools
  2.  
  3. To disable static service pools, disable cgroup-based resource management for all hosts in all clusters:
  4.  
  5. 1.In the main navigation bar, click Hosts.
  6. 2.Click the Configuration tab.
  7. 3.Click the Resource Management category, uncheck the Enable Cgroup-based Resource Management property, then click Save Changes.
  8. 4.Restart all services. 
  9. Static resource management is disabled, but the percentages you set when you configured the pools, and all the changed settings (for example, heap sizes), are retained by the services. The percentages and settings will also be used when you re-enable static service pools. If you want to revert to the settings you had before static service pools were enabled, follow the procedures in Viewing and Reverting Configuration Changes.
复制代码





译文:不当之处多多指正
停止静态服务池

停止静态服务池,停止集群上所有主机的resource management

1.在主导航栏上,单击“主机。
2.单击“配置”选项卡。
3.单击Resource Management,取消Cgroup-based资源管理属性,然后保存改变。
4.重启所有服务
静态资源管理是禁用的,但是配置的静态服务池,以及其它改变的设置(例如heap size ),已被服务保存。当你重新启用静态服务池,这些百分比及设置都会生效。如果你想恢复到之前的配置,按照下面的程序,恢复改变即可

 

静态池配置重启后遇到的坑:

spark  yarn-client 模式报错:

ERROR spark.SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.

yarn log:

Application application_1547969490810_0012 failed 2 times due to AM Container for appattempt_1547969490810_0012_000002 exited with exitCode: -1000

For more detailed output, check application tracking page:http://master:8088/proxy/application_1547969490810_0012/Then, click on links to logs of each attempt.

Diagnostics: Application application_1547969490810_0012 initialization failed (exitCode=255) with output: main : command provided 0

main : run as user is nobody

main : requested yarn user is hdfs

Can't create directory /data/yarn/nm/usercache/hdfs/appcache/application_1547969490810_0012 - Permission denied

Did not create any app directories

Failing this attempt. Failing the application.

解决方案:

1.检查 spark_home 

2.检查hdfs下spakr相关jar

3.网上说清除yarn相关usercache:  rm -rf /data/yarn/nm/usercache/*

我查了看了下目录权限 变了,各个节点改回来试了不行,还是删了

ll /data/yarn/nm/usercache/
总用量 32
drwxr-s---. 4 nobody yarn 1024 9月  29 20:10 hdfs
drwxr-x---. 4 yarn   yarn 1024 10月 24 15:45 hue_ro
drwxr-x---. 4 yarn   yarn 1024 1月  16 15:32 root
drwxr-x---. 4 yarn   yarn 1024 1月  16 14:00 test

chown yarn:yarn /data/yarn/nm/usercache/hdfs

 

本文转载自:http://www.aboutyun.com/thread-9042-1-1.html

共有 人打赏支持
hblt-j
粉丝 22
博文 195
码字总数 71424
作品 0
海淀
架构师
私信 提问
Mesos 框架--Apache Aurora

Apache Aurora 是长期运行服务和计划作业的 Mesos 框架。Aurora 通过一个共享机器池运行应用和服务,并负责持续运行。当机器失效的时候,Aurora 会智能的重新规划这些作业到正常的机器上。 ...

小鲅鱼
2015/11/27
5.9K
1
详解Kubernetes Deployment的描述文件及相关配置

Deployment 使用 Kubernetes提供了一种更加简单的更新RC和Pod的机制,叫做Deployment。通过在Deployment中描述你所期望的集群状态,Deployment Controller会将现在的集群状态在一个可控的速度...

gibsonxue
2018/07/05
0
0
《亿级流量网站架构核心技术》目录一览

举报   在2011年年底的时候笔者就曾规划写一本Spring的书,但是因为是Spring入门类型的书,框架的内容更新太快,觉得还是写博客好一些,因此就把写完的书稿放到了博客(jinnianshilongnia...

jinjiang2009
2017/03/14
0
0
gopub 1.1.0 发布,企业级运维发布系统

gopub(基于vue.js element框架+golang beego框架开发)是一个基于运维场景设计的企业级运维发布系统。配置简单、功能完善、界面流畅、开箱即用!支持git、jenkins版本管理,支持各种web代码...

超越-林超
2018/04/19
2.8K
5
Cloudera Manager5及CDH5离线安装说明

关于技术选型 --- http://www.tuicool.com/articles/7RRrie 同时可参考: http://www.doc88.com/p-0042075356791.html 1. 概述 本文概述了在CentOS6环境下,离线安装Cloudera Manager5(以下称...

强子哥哥
2015/10/23
708
0

没有更多内容

加载失败,请刷新页面

加载更多

Objective-C中的associated object释放时机问题

如果对象A持有对象B,B作为A的associated object,并且表面上B没有其他被强引用的地方,那么对象A被释放时,对象B一定会同时释放吗?大部分情况下是,但真有不是的时候。最近实现代码的时候不...

阿里云官方博客
35分钟前
2
0
12_第一个Flutter程序

使用 package 在这一步中,你将开始使用一个名为 english_words 的开源软件包,其中包含数千个最常用的英文单词以及一些实用功能。 你可以 在 pub.dartlang.org 上找到 english_words 软件包...

口十耳
今天
7
0
【Maven冷知识】Compiler插件

很多同学在pom的配置中都喜欢加上这样一段配置信息: 从配置信息上看,这是maven对Java源代码进行的编译配置,采用了Java 7 进行编译,但是为什么要加上这段配置呢?不加有没有什么影响?很多...

算法与编程之美
今天
2
0
磊哥测评之数据库SaaS篇:腾讯云控制台、DMC和小程序

本文由云+社区发表 作者:腾讯云数据库 随着云计算和数据库技术的发展,数据库正在变得越来越强大。数据库的性能如处理速度、对高并发的支持在节节攀升,同时分布式、实时的数据分析、兼容主...

腾讯云加社区
今天
2
0
Visual Studio系列教程:使用XAML工具创建用户界面(二)

Visual Studio是一款完备的工具和服务,可帮助您为Microsoft平台和其他平台创建各种各样的应用程序。在本系列教程中将介绍如何为图像编辑创建基本的用户界面,有任何建议或提示请在下方评论区...

ymy_666666
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部