文档章节

hadoop 0.20.2 cdh3u6 运行单节点任务卡死,但不报错,问题分析。

parker
 parker
发布于 2016/02/19 10:33
字数 399
阅读 157
收藏 1

背景:

    单节点运行hadoop所有组件(namenode,datanode,jobtracker,tasktarcker等)运行任务后,所有任务卡死,无法继续运行。使用oozie管理job。

分析:

    查看hadoop日志并没有发现错误,因此,怀疑配置文件出现问题。逐步检查配置文件出现问题的地方。首先,检查服务器负载境况,发现服务器cpu使用率低于20%,内存占用不足50%,硬盘io tps 小于3。机器负载不重。可以分析出,hadoop中的任务卡死,不是由于硬件资源不足导致的。换句话说,就是hadoop的其他设置导致的。从而检查hadoop的配置文件中配置是否合理。检查hadoop的conf/hadoop-env.sh。发现

    HADOOP_HEAPSIZE的值为8192;

表明hadoop各个组件启动时,分配的内存足够大。不存在内存分配不足的问题。接着查看其他值发现没什么特殊的地方。使用jps查看chind数量,发现有4个,检查配置文件中的conf/mapred-site.xml,其中mapred.tasktracker.map.tasks.maximum的值恰好是4,表明tasktracker的chind中map的数量最多是4个,然后确认了下job开始的位置,发现就是在执行map的时候开始,说明同时执行4个map时,发生竞争,导致任务不能进行下去,修改其值为合适大小(网上说可以修改为任务数/cpu核心数=1~2之间),重新模拟,克服死锁,问题成功解决。

© 著作权归作者所有

parker
粉丝 1
博文 13
码字总数 6310
作品 0
长春
私信 提问
加载中

评论(1)

jasonkavay
jasonkavay
棒棒哒!博主,我们做了一个帮助博主推广博客的app叫同行说,只需复制文章链接即可发布给更多程序员们看到哦,欢迎体验哈,一起发扬分享精神~
【Hadoop】- Hadoop1.x 完全分布式环境搭建

环境: 1台NameNode服务器,2台DataNode服务器 安装步骤 ①:配置/etc/hosts文件:实现集群内部的DNS解析,无需查询DNS服务器,当访问远程主机时首先查询hosts文件是否有配置,如果配置则直接...

ZeroneLove
02/24
2
0
使用Sqoop实现HDFS与Mysql互转

简介 Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入...

疯狂的艺术家
2013/05/10
9.1K
1
hadoop伪分布式需修改的配置文件(5个)

Hadoop主要的配置文件 Hadoop的配置文件都放在/HADOOP_HOME/conf Hadoop配置文件 文件名称 格式 描述 hadoop-env.sh Bash脚本 记录Hadoop要用的环境变量 core-site.xml Hadoop配置XML Hadoo...

周东尧
2018/01/25
80
0
Hadoop入门(2)_验证HDFS是否能够正常运行

Linux环境:CentOs6.4 Hadoop版本:hadoop-0.20.2 命令介绍: ./hadoop fs -put xxxx hdfs://cui:9000/ fs:表明操作的是文件系统 -put:从当前的一个目录中的一个文件存储到HDFS中。 hdfs:/...

崔同亮
2013/08/18
227
0
第一章《数据之路,始于Hadoop》第一节 Hadoop 基础介绍

第一节 hadoop介绍 大数据时代最重要的论文是Google三篇,分布讲述了GFS、MapReduce和BigTable。而依照前两篇论文设计的开源项目Hadoop,则迅速风靡,成为了大数据行业的事实标准。Google的论...

王二铁
2016/04/21
202
0

没有更多内容

加载失败,请刷新页面

加载更多

golang-字符串-地址分析

demo package mainimport "fmt"func main() {str := "map.baidu.com"fmt.Println(&str, str)str = str[0:5]fmt.Println(&str, str)str = "abc"fmt.Println(&s......

李琼涛
今天
4
0
Spring Boot WebFlux 增删改查完整实战 demo

03:WebFlux Web CRUD 实践 前言 上一篇基于功能性端点去创建一个简单服务,实现了 Hello 。这一篇用 Spring Boot WebFlux 的注解控制层技术创建一个 CRUD WebFlux 应用,让开发更方便。这里...

泥瓦匠BYSocket
今天
6
0
从0开始学FreeRTOS-(列表与列表项)-3

FreeRTOS列表&列表项的源码解读 第一次看列表与列表项的时候,感觉很像是链表,虽然我自己的链表也不太会,但是就是感觉很像。 在FreeRTOS中,列表与列表项使用得非常多,是FreeRTOS的一个数...

杰杰1号
今天
8
0
Java反射

Java 反射 反射是框架设计的灵魂(使用的前提条件:必须先得到代表的字节码的 Class,Class 类 用于表示.class 文件(字节码)) 一、反射的概述 定义:JAVA 反射机制是在运行状态中,对于任...

zzz1122334
今天
5
0
聊聊nacos的LocalConfigInfoProcessor

序 本文主要研究一下nacos的LocalConfigInfoProcessor LocalConfigInfoProcessor nacos-1.1.3/client/src/main/java/com/alibaba/nacos/client/config/impl/LocalConfigInfoProcessor.java p......

go4it
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部