文档章节

hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

writeademo
 writeademo
发布于 2017/03/21 15:40
字数 152
阅读 325
收藏 0

hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

 

 

 

Java代码如下:

  1. FileSystem fs = FileSystem.get(conf); 
  2. in = fs.open(new Path("hdfs://192.168.130.54:19000/user/hmail/output/part-00000")); 

抛出异常如下:

  1. Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.130.54:19000/user/hmail/output/part-00000, expected: file:/// 
  2.     at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:310) 
  3.     at org.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:47) 
  4.     at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:357) 
  5.     at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245) 
  6.     at org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:125) 
  7.     at org.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283) 
  8.     at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:356) 
  9.     at com.netease.hadoop.HDFSCatWithAPI.main(HDFSCatWithAPI.java:23) 

解决方案:

Hadoop需要把集群上的core-site.xml和hdfs-site.xml放到当前工程下。eclipse工作目录的bin文件夹下面


因为是访问远程的HDFS 需要通过URI来获得FileSystem.

本文转载自:

上一篇: String去除空格
下一篇: mysql语句
writeademo
粉丝 26
博文 679
码字总数 255284
作品 0
东城
私信 提问
java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///

我在运行eclipse中hadoop程序时,出现错误java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///,请问如何解决?...

mackaywang
2014/12/31
2.6K
2
记录配置HDFS HA后,hive抛错Wrong FS

1.问题: 在CDH5.x或者Apache环境下,配置了NameNode的HA后,Hive无正常查询数据了。 Hive查询会出现如下异常: 点击(此处)折叠或打开 FAILED: SemanticException Unable to determine if hdf...

sh_jepson
2016/12/20
0
0
Hadoop单机和伪分布环境搭建

Hadoop环境搭建与运维 Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和...

qq_41338249
2018/05/24
0
0
java.util.ServiceLoader使用

近期在项目中需要实现能在配置文件中定义多个统一接口类型的类,可以在程序中获取到所有配置的类,刚开始打算配置到properties中,然后去程序读取,感觉这种方式不太灵活,于是,研究研究jav...

分享达人
2016/04/15
0
0
hadoop简单命令

Hadoop 文件命令 * 文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt *......

writeademo
2016/07/05
113
0

没有更多内容

加载失败,请刷新页面

加载更多

parseint和isNaN用法

本文转载于:专业的前端网站➭parseint和isNaN用法 <!doctype html><html><head><meta charset="utf-8"><title>无标题文档</title></head><body><script> var a='12'; alert......

前端老手
今天
7
0
Kylin 精确去重在用户行为分析中的妙用

作者:史少锋,Apache Kylin committer & PMC,2019/10/11 在上次文章《如何在 1 秒内做到大数据精准去重》中,我们介绍了 Apache Kylin 为什么要支持大数据集上的精确去重,以及基于 Bitmap...

ApacheKylin
今天
6
0
学习记录(二) es6基本语法(rest参数,模板化,axios模块,拦截器)

日常学习记录 模块化:把一个大文件分成多个小文件,按照一定规范进行拼接 es5写法: 导出:module.exports = 数据 导入:require("路径") /路径未添加后缀名时 //默认添加.js //把路径作为文件名...

Pole丶逐
今天
4
0
以程序员的角度怎么购买一台「性价比高的电视」

前俩天有小伙伴在我的文章下留言,说能否把 【国内电视机都介绍一下】,今天我已在TV端开发多年的程序员的角度。谈谈已程序员的角度如何购买一台性价比高的电视。 国内大的电视机品牌介绍 长...

我们都很努力着
今天
5
0
PhotoShop 色调:理解直方图/RGB通道信息

一、直方图:图表的形式,展示图像像素分布的情况 1.平均值:表示平均亮度 2.标准偏差值:表示亮度值范围内的中间值 3.像素: 表示用于计算直方图的像素总数 4.色阶:显示指针下面的区域亮度...

东方墨天
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部