文档章节

hdfs.DFSClient: Exception in createBlockOutputStre

E
 Eric_Guan
发布于 2016/06/07 15:10
字数 109
阅读 287
收藏 0
点赞 0
评论 0

某一个作业报错:

16/06/07 08:18:35 INFO hdfs.DFSClient: Abandoning BP-335176858-10.151.11.121-1433739729352:blk_1129708823_56042075
16/06/07 08:18:35 INFO hdfs.DFSClient: Excluding datanode DatanodeInfoWithStorage[10.130.81.114:50010,DS-d5f8c720-38a2-40b5-be57-ede553daae68,DISK]
16/06/07 08:18:35 INFO hdfs.DFSClient: Exception in createBlockOutputStream
java.net.ConnectException: Connection refused
    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
    at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:530)
    at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1782)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1559)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1512)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:668)

 

解决方法:

登录到10.130.81.114后,运行:

hadoop-daemon.sh start datanode 

© 著作权归作者所有

共有 人打赏支持
E
粉丝 3
博文 25
码字总数 14717
作品 0
朝阳
java.io.IOException: Bad connect ack with firstBad

[hadoop@master ~]$ touch bigfile.tar [hadoop@master ~]$ cat hadoop-2.5.2.tar.gz >> bigfile.tar [hadoop@master ~]$ touch bigfile.tarcat [hadoop@master ~]$ [hadoop@master ~]$ [had......

八戒_o
2015/12/03
370
0
Hadoop常见错误及处理方法

1、Hadoop-root-datanode-master.log 中有如下错误: ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in 导致datanode启动不了。......

长征2号
2017/11/01
0
0
hadoop 使用eclipse远程调试

使用eclipse远程调试服务器上的hadoop程序的时候出现一个问题: INFO hdfs.DFSClient: Exception in createBlockOutputStream .168.113.181:50010 java.net.ConnectException: Connection t......

olive
2013/09/30
1K
4
使用sqoop从mysql导入数据到hive

stop-yarn.shstart-dfs.shstart-yarn.sh

wscrf
05/28
0
0
hadoop向hdfs拷贝文件,出错,文件为空,错误如下

[whp@namenode hadoop-0.20.2]$ bin/hadoop dfs -put ../input in 15/05/26 15:35:39 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOExc......

nana0223
2015/05/26
409
5
hadoop常见错误及解决办法!

1:Shuffle Error: Exceeded MAXFAILEDUNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但...

vieky
2013/03/04
0
0
windows下使用cygwin安装hadoop出现的问题,求解,谢谢!

$ ./hadoop jar ./dfs_operator.jar DFSOperator 13/11/07 00:58:40 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop .ipc.RemoteException: java.io.IOException: File /d......

小恩v
2013/11/07
572
2
hadoop 常见错误及解决方案

1:Shuffle Error: Exceeded MAXFAILEDUNIQUE_FETCHES; bailing-out Answer: 程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但...

蓝狐乐队
2014/02/20
0
0
hadoop异常“could only be replicated to 0 nodes, instead of 1” 解决

异常分析 1、“could only be replicated to 0 nodes, instead of 1”异常 (1)异常描述 上面配置都正确无误,并且,已经完成了如下运行步骤: [root@localhost hadoop-0.20.0]# bin/hadoop...

夏春涛
2017/09/26
0
0
Hdfs磁盘存储策略和预留空间配置

一、Hdfs磁盘存储策略 1、 指定本地目录存储策略 data目录为Hot策略对应DISK; data1目录为Cold策略对应ARCHIVE; 重启hdfs 2、指定hdfs目录的存储策略 查看hdfs存储策略 创建2个hdfs目录 指...

哓竹
2016/11/12
94
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式 Factory工厂模式 Singleton单例模式 Delegate委派模式 Strategy策略模式 Prototype原型模式 Template模板模式 Spring5 beans 接口实例化 代理Bean操作 ...

小致dad
10分钟前
0
0
SpringBoot | 第十章:Swagger2的集成和使用

前言 前一章节介绍了mybatisPlus的集成和简单使用,本章节开始接着上一章节的用户表,进行Swagger2的集成。现在都奉行前后端分离开发和微服务大行其道,分微服务及前后端分离后,前后端开发的...

oKong
今天
9
0
Python 最小二乘法 拟合 二次曲线

Python 二次拟合 随机生成数据,并且加上噪声干扰 构造需要拟合的函数形式,使用最小二乘法进行拟合 输出拟合后的参数 将拟合后的函数与原始数据绘图后进行对比 import numpy as npimport...

阿豪boy
今天
9
0
云拿 无人便利店

附近(上海市-航南路)开了家无人便利店.特意进去体验了一下.下面把自己看到的跟大家分享下. 经得现场工作人员同意后拍了几张照片.从外面看是这样.店门口的指导里强调:不要一次扫码多个人进入....

周翔
昨天
1
0
Java设计模式学习之工厂模式

在Java(或者叫做面向对象语言)的世界中,工厂模式被广泛应用于项目中,也许你并没有听说过,不过也许你已经在使用了。 简单来说,工厂模式的出现源于增加程序序的可扩展性,降低耦合度。之...

路小磊
昨天
202
1
npm profile 新功能介绍

转载地址 npm profile 新功能介绍 npm新版本新推来一个功能,npm profile,这个可以更改自己简介信息的命令,以后可以不用去登录网站来修改自己的简介了 具体的这个功能的支持大概是在6这个版...

durban
昨天
1
0
Serial2Ethernet Bi-redirection

Serial Tool Serial Tool is a utility for developing serial communications, custom protocols or device testing. You can set up bytes to send accordingly to your protocol and save......

zungyiu
昨天
1
0
python里求解物理学上的双弹簧质能系统

物理的模型如下: 在这个系统里有两个物体,它们的质量分别是m1和m2,被两个弹簧连接在一起,伸缩系统为k1和k2,左端固定。假定没有外力时,两个弹簧的长度为L1和L2。 由于两物体有重力,那么...

wangxuwei
昨天
0
0
apolloxlua 介绍

##项目介绍 apolloxlua 目前支持javascript到lua的翻译。可以在openresty和luajit里使用。这个工具分为两种模式, 一种是web模式,可以通过网页使用。另外一种是tool模式, 通常作为大规模翻...

钟元OSS
昨天
2
0
Mybatis入门

简介: 定义:Mybatis是一个支持普通SQL查询、存储过程和高级映射的持久层框架。 途径:MyBatis通过XML文件或者注解的形式配置映射,实现数据库查询。 特性:动态SQL语句。 文件结构:Mybat...

霍淇滨
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部