文档章节

通过hadoopAPI访问文件

乐搏学院
 乐搏学院
发布于 2017/08/03 16:20
字数 127
阅读 4
收藏 0

/**

 * 通过Hadoop api访问

 * @throws IOException

 */

@Test

public void readFileByAPI() throws IOException{

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.75.201:8020/");

FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/index.html");

FSDataInputStream fis =fs.open(path);

byte[] bytes = new byte[1024];

int len = -1;

ByteArrayOutputStream baos = new ByteArrayOutputStream();

while((len = fis.read(bytes))!=-1){

baos.write(bytes, 0, len);

}

System.out.println(new String(baos.toByteArray()));

fis.close();

baos.close();

 

 

}

 

第二种方式:

/**

 * 通过hadoop api访问

 * @throws IOException

 */

@Test

public void readFileByAPI2() throws IOException{

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.75.201:8020/");

FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/index.html");

FSDataInputStream fis =fs.open(path);

ByteArrayOutputStream baos = new ByteArrayOutputStream();

IOUtils.copyBytes(fis, baos, 1024);

System.out.println(new String(baos.toByteArray()));

fis.close();

baos.close();

 

 

}

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 7
博文 526
码字总数 707467
作品 0
丰台
程序员
私信 提问
如何调用 HadoopAPI获取运行任务状态问题?

@Quintus 你好,想跟你请教个问题: 如何调用 HadoopAPI获取运行任务状态问题?看到你之前在社区上边和别人讨论过这个问题,不知道最后有什么解决方案吗?

hjdong
2013/08/07
191
0
Hadoop Job的提交,到底提交了什么?

一个最基本的Hadoo任务 WordCountMapper: private final static IntWritable one = new IntWritable(1);@Overridepublic void map(LongWritable key, Text value, } WordCountReduce: @Over......

震秦
2013/09/22
0
3
WP7 - 如何从安装文件夹拷贝文件到独立存储

多朋友在论坛发贴抱怨Windows Phone 7中无法将安装文件夹中的文件拷贝到独立存储中。 我很理解产生这种需求的来源:很多时候我们希望将自己预先定义好的一些配置文件添加到项目中,然后在用户...

阿酷
2011/12/29
1K
0
安卓应用安全指南 4.6.3 处理文件 高级话题

安卓应用安全指南 4.6.3 处理文件 高级话题 原书:Android Application Secure Design/Secure Coding Guidebook 译者:飞龙 协议:CC BY-NC-SA 4.0 4.6.3.1 通过文件描述符的文件共享 有一种...

apachecn_飞龙
03/22
0
0
网站pv uv 停留时间 等统计

日志中心收集网站访问数据内容 基于nginx记录用户cookie的行为,进行分析 一、用户cookie。 需要创建3个cookie文件gtra、gtrb、gtrc,其中gtra用来追踪用户,gtrb和gtrc联合来标记一次会话。...

闪电
2016/11/28
104
0

没有更多内容

加载失败,请刷新页面

加载更多

3分钟总结Mybatis别名

1.系统内置别名: 把类型全小写(resultType/paramType) 2.给某个类起别名 2.1 alias=”自定义” <typeAliases> <typeAlias type="com.bjsxt.pojo.People" alias="peo"/> </typeAli......

KingFightingAn
昨天
1
0
JAVA设计模式之模板方法模式和建造者模式

一、前期回顾 上一篇《Java 设计模式之工厂方法模式与抽象工厂模式》介绍了三种工厂模式,分别是工厂方法模式,简单工厂方法模式,抽象工厂模式,文中详细根据实际场景介绍了三种模式的定义,...

木木匠
昨天
7
0
C中的宏的使用(宏嵌套/宏展开/可变参数宏)

基本原则: 在展开当前宏函数时,如果形参有#或##则不进行宏参数的展开,否则先展开宏参数,再展开当前宏。 #是在定义两边加上双引号 #define _TOSTR(s) #sprintf(_TOSTR(test ABC))pr...

SamXIAO
昨天
4
0
SpringBoot 整合异步调用方法

1. 在 SpringBoot 主类上使用 @EnableAsync 注解,开启异步调用功能 package com.codingos.springbootdemo;import org.springframework.boot.SpringApplication;import org.springfra......

北漂的我
昨天
3
0
0015-如何使用Sentry管理Hive外部表权限

1.文档编写目的 本文档主要讲述如何使用Sentry对Hive外部表权限管理,并基于以下假设: 1.操作系统版本:RedHat6.5 2.CM版本:CM 5.11.1 3.集群已启用Kerberos和Sentry 4.采用具有sudo权限的...

Hadoop实操
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部