文档章节

通过hadoopAPI访问文件

乐搏学院
 乐搏学院
发布于 2017/08/03 16:20
字数 127
阅读 50
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

/**

 * 通过Hadoop api访问

 * @throws IOException

 */

@Test

public void readFileByAPI() throws IOException{

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.75.201:8020/");

FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/index.html");

FSDataInputStream fis =fs.open(path);

byte[] bytes = new byte[1024];

int len = -1;

ByteArrayOutputStream baos = new ByteArrayOutputStream();

while((len = fis.read(bytes))!=-1){

baos.write(bytes, 0, len);

}

System.out.println(new String(baos.toByteArray()));

fis.close();

baos.close();

 

 

}

 

第二种方式:

/**

 * 通过hadoop api访问

 * @throws IOException

 */

@Test

public void readFileByAPI2() throws IOException{

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.75.201:8020/");

FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/index.html");

FSDataInputStream fis =fs.open(path);

ByteArrayOutputStream baos = new ByteArrayOutputStream();

IOUtils.copyBytes(fis, baos, 1024);

System.out.println(new String(baos.toByteArray()));

fis.close();

baos.close();

 

 

}

© 著作权归作者所有

乐搏学院
粉丝 8
博文 526
码字总数 707467
作品 0
丰台
程序员
私信 提问
加载中

评论(0)

Spark算子[19]:saveAsHadoopFile、saveAsNewAPIHadoopFile 源码实例详解

saveAsHadoopFile、saveAsNewAPIHadoopFile两个算子来源于PairRDDFunctions。 saveAsHadoopFile saveAsHadoopFile是将RDD存储在HDFS上的文件中,支持老版本Hadoop API。 可以指定outputKeyCl...

生命不息丶折腾不止
03/31
0
0
如何调用 HadoopAPI获取运行任务状态问题?

@Quintus 你好,想跟你请教个问题: 如何调用 HadoopAPI获取运行任务状态问题?看到你之前在社区上边和别人讨论过这个问题,不知道最后有什么解决方案吗?

hjdong
2013/08/07
247
0
使用Hadoop API 压缩HDFS文件

下篇解压缩:使用Hadoop API 解压缩 HDFS文件   起因: 集群磁盘剩余空间不足。   删除了存储在HDFS上的,一定时间之前的中间结果,发现并不能释放太多空间,查看计算业务,发现,每天的...

osc_z7ezpf37
2018/06/18
2
0
大数据技术之_19_Spark学习_02_Spark Core 应用解析小结

1、RDD 全称 弹性分布式数据集 Resilient Distributed Dataset 它就是一个 class。 继承了 Serializable 和具有 Logging 的特质,为什么要Serializable?答:因为不同的 RDD 之间需要进行转化...

osc_ejr00qw0
2019/04/26
1
0
Hadoop Job的提交,到底提交了什么?

一个最基本的Hadoo任务 WordCountMapper: private final static IntWritable one = new IntWritable(1);@Overridepublic void map(LongWritable key, Text value, } WordCountReduce: @Over......

震秦
2013/09/22
6.7K
3

没有更多内容

加载失败,请刷新页面

加载更多

Oracle中单行函数操作详解

单行函数--PL/SQL (一)字符函数 函 数 说 明 CONCAT 拼接两个字符串,与 || 相同 INITCAP 将字符串的第一个字母变为大写 INSTR 找出某个字符串的位置 LENGTH 以字符给出字符串的长度 REPL...

煌sir
4分钟前
7
0
软件测试人常见问题解答,你一定想知道!

很多职场转行人员都会遇见这样那样的困惑与问题,今天小编针对同学们的问题作出了有效建议。 我是非计算机专业出身,可以学软件测试吗? 我年纪太大了,竞争不过年轻人,怎么办? 如果学完找...

爱码小哥
9分钟前
13
0
Java四种引用类型

引用与对象 每种编程语言都有自己操作内存中元素的方式,例如在 C 和 C++ 里是通过指针,而在 Java 中则是通过“引用”。 在 Java 中一切都被视为了对象,但是我们操作的标识符实际上是对象的...

architect刘源源
11分钟前
8
1
python萌新日记

5.31日:安装python成功,更新pip失败,我都会背下命令行了,python -m pip install --upgrade pip,命令行意思:加载pip模组,安装,更新pip.可惜一直失败,嘤嘤嘤,哭了,升级不到pip2.0,后来在百度的...

老bia同学
13分钟前
17
0
Pycharm远程服务器编程环境并能使用Xming显示图像界面

本文主要使用pycharm+Xming实现使用服务器的编程环境,并在本地显示图像界面, 同时使用Putty远程服务器终端,使用WinSCP可以从局域网向服务器快速传输文件。 主要使用的几个软件:、 Pychar...

TimeBear
21分钟前
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部