文档章节

hadoop 0.20 jobtracker leasechecker 线程溢出问题分析与解决

parker
 parker
发布于 2016/09/08 11:01
字数 278
阅读 13
收藏 0

集群hadoop 0.20 使用oozie进行任务调度,运行一段时间,jobtracker发生崩溃。

分析其原因发现jobtracker在执行oozie提交的任务时,leasechecker线程不断增加,导致jobtracker崩溃。而使用hadoop 自带的命令行提交任务,线程不会增加。因此通过多方手段确定,oozie在向hadoop提交任务时,会提交配置文件到hdfs,而jobtracker的后续某些操作会直接使用提交上来的配置文件,在提交上来的配置文件中有fs禁止使用缓存一项,这就会导致jobtracker获取fs时,不停的创建相关实例而不释放。故此解决方法较为简单,oozie提交的配置文件中,不要禁止使用缓存即可。

相关代码:

src/mapred/org/apache/hadoop/mapred/JobInProgress.java 等initTasks方法调用JobHistory方法。传递的参数就包括jobCient传递过来的。

src/mapred/org/apache/hadoop/mapred/JobHistory.java 中的logSubmitted的fs = userLogFile.getFileSystem(jobConf)

© 著作权归作者所有

parker
粉丝 1
博文 13
码字总数 6310
作品 0
长春
私信 提问
Hadoop学习笔记(1):概念和整体架构

hadoop简介和历史   Hadoop架构体系   Master和Slave节点   数据分析面临的问题和Hadoop思想   由于工作原因,必须学习和深入一下Hadoop,特此记录笔记。   什么是hadoop?   Apa...

ugali
2018/06/26
0
0
hadoop之JobTracker功能分析

JobTracker是整个MapReduce计算框架中的主服务,相当于集群的“管理者”,负责整个集群的作业控制和资源管理。本文对JobTracker的启动过程及心跳接收与应答两个主要功能进行分析。 1 JobTra...

罗文浩
2016/01/24
89
0
Hadoop各模块的具体分析

Hadoop集群架构 Hadoop集群由一个Master主节点和若干个Slave节点组成。其中,Master节点上运行NameNode和JobTracker守护进程;Slave节点上运行DataNode和TaskTracker守护进程。 Hadoop分别从...

牧师-Panda
2016/11/06
1K
0
【Hadoop】- Hadoop1.x 完全分布式环境搭建

环境: 1台NameNode服务器,2台DataNode服务器 安装步骤 ①:配置/etc/hosts文件:实现集群内部的DNS解析,无需查询DNS服务器,当访问远程主机时首先查询hosts文件是否有配置,如果配置则直接...

ZeroneLove
02/24
2
0
NameNode内存溢出和DataNode请求超时异常处理

问题背景   春节假期间,接连收到监控程序发出的数据异常问题,赶忙连接上跳板机检查各服务间的状态,发现Datanode在第二台、第三台从节点都掉线了,通过查看Datanode和Namenode运行日志,...

ELBOR&LIU
03/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

ERC-777以太坊新代币标准解读

ERC777是一个新的高级代币标准,可以视为ERC20的升级版本,因此它解决了ERC20以及ERC223存在的一些问题,开发者可以根据自己的具体需求进行选型。 1、使用ERC820进行合约注册 有别于ERC20的自...

汇智网教程
46分钟前
4
0
代理模式之JDK动态代理 — “JDK Dynamic Proxy“

动态代理的原理是什么? 所谓的动态代理,他是一个代理机制,代理机制可以看作是对调用目标的一个包装,这样我们对目标代码的调用不是直接发生的,而是通过代理完成,通过代理可以有效的让调...

code-ortaerc
今天
5
0
学习记录(day05-标签操作、属性绑定、语句控制、数据绑定、事件绑定、案例用户登录)

[TOC] 1.1.1标签操作v-text&v-html v-text:会把data中绑定的数据值原样输出。 v-html:会把data中值输出,且会自动解析html代码 <!--可以将指定的内容显示到标签体中--><标签 v-text=""></......

庭前云落
今天
8
0
VMware vSphere的两种RDM磁盘

在VMware vSphere vCenter中创建虚拟机时,可以添加一种叫RDM的磁盘。 RDM - Raw Device Mapping,原始设备映射,那么,RDM磁盘是不是就可以称作为“原始设备映射磁盘”呢?这也是一种可以热...

大别阿郎
今天
12
0
【AngularJS学习笔记】02 小杂烩及学习总结

本文转载于:专业的前端网站☞【AngularJS学习笔记】02 小杂烩及学习总结 表格示例 <div ng-app="myApp" ng-controller="customersCtrl"> <table> <tr ng-repeat="x in names | orderBy ......

前端老手
昨天
16
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部