文档章节

通过hadoopAPI访问文件

乐搏学院
 乐搏学院
发布于 2017/08/03 16:20
字数 127
阅读 3
收藏 0
点赞 0
评论 0

/**

 * 通过Hadoop api访问

 * @throws IOException

 */

@Test

public void readFileByAPI() throws IOException{

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.75.201:8020/");

FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/index.html");

FSDataInputStream fis =fs.open(path);

byte[] bytes = new byte[1024];

int len = -1;

ByteArrayOutputStream baos = new ByteArrayOutputStream();

while((len = fis.read(bytes))!=-1){

baos.write(bytes, 0, len);

}

System.out.println(new String(baos.toByteArray()));

fis.close();

baos.close();

 

 

}

 

第二种方式:

/**

 * 通过hadoop api访问

 * @throws IOException

 */

@Test

public void readFileByAPI2() throws IOException{

Configuration conf = new Configuration();

conf.set("fs.defaultFS", "hdfs://192.168.75.201:8020/");

FileSystem fs = FileSystem.get(conf);

Path path = new Path("/user/index.html");

FSDataInputStream fis =fs.open(path);

ByteArrayOutputStream baos = new ByteArrayOutputStream();

IOUtils.copyBytes(fis, baos, 1024);

System.out.println(new String(baos.toByteArray()));

fis.close();

baos.close();

 

 

}

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 6
博文 526
码字总数 707467
作品 0
丰台
程序员
如何调用 HadoopAPI获取运行任务状态问题?

@Quintus 你好,想跟你请教个问题: 如何调用 HadoopAPI获取运行任务状态问题?看到你之前在社区上边和别人讨论过这个问题,不知道最后有什么解决方案吗?

hjdong
2013/08/07
191
0
Hadoop Job的提交,到底提交了什么?

一个最基本的Hadoo任务 WordCountMapper: private final static IntWritable one = new IntWritable(1);@Overridepublic void map(LongWritable key, Text value, } WordCountReduce: @Over......

震秦
2013/09/22
0
3
WP7 - 如何从安装文件夹拷贝文件到独立存储

多朋友在论坛发贴抱怨Windows Phone 7中无法将安装文件夹中的文件拷贝到独立存储中。 我很理解产生这种需求的来源:很多时候我们希望将自己预先定义好的一些配置文件添加到项目中,然后在用户...

阿酷
2011/12/29
1K
0
通过nginx访问静态文件配置

通过nginx访问静态文件配置,均是在server模块中配置,有两种方式: 1、alias 通过alias关键字,重定义路径,如 server{ listen 7001; server_name 127.0.0.1; location /file/ { alias /hom...

binhu
前天
0
0
浅谈FIle协议与Http协议及区别

背景 先看三段代码: index.html: index.js: import * as circle from './test'; console.log('圆面积:' + circle.area(4));console.log('圆周长:' + circle.circumference(14)); test.js:......

如是说
昨天
0
0
安卓应用安全指南 4.6.3 处理文件 高级话题

安卓应用安全指南 4.6.3 处理文件 高级话题 原书:Android Application Secure Design/Secure Coding Guidebook 译者:飞龙 协议:CC BY-NC-SA 4.0 4.6.3.1 通过文件描述符的文件共享 有一种...

apachecn_飞龙
03/22
0
0
网站pv uv 停留时间 等统计

日志中心收集网站访问数据内容 基于nginx记录用户cookie的行为,进行分析 一、用户cookie。 需要创建3个cookie文件gtra、gtrb、gtrc,其中gtra用来追踪用户,gtrb和gtrc联合来标记一次会话。...

闪电
2016/11/28
104
0
Tomcat配置虚拟主机

Tomcat配置虚拟主机 前言:笔者初学者,又什么不对或者说是需要补充的请留言,以便更正和补充 环境:Tomcat 7.0 +windows XP 一. 效果 通过http://www.local.com访问 Tomcat端口设置成80 通过h...

ganludong
2011/01/15
0
0
几点基于Web日志的Webshell检测思路

1 Web日志与Webshell的关联 Web日志是 Web 服务器(如IIS、Apache)记录用户访问行为产生的文件,标准的 Web 日志是纯文本格式,每行一条记录,对应客户端浏览器对服务器资源的一次访问典型的...

slyso
2016/02/29
1K
0
aspx->cs->dll :在部署后就让所有的aspx处于已经编译成dll的状态

aspx->cs->dll asp.net项目在部署后,aspx文件并没有被编译,这种情形要一直维持到用户第一次访问页面,该页面文件aspx才会转化成cs,并编译成dll,这次访问速度不会很快,但从此以后,所有访...

springfe
2005/03/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

about git flow

  昨天元芳做了git分支管理规范的分享,为了拓展大家关于git分支的认知,这里我特意再分享这两个关于git flow的链接,大家可以看一下。 Git 工作流程 Git分支管理策略   git flow本质上是...

qwfys
今天
2
0
Linux系统日志文件

/var/log/messages linux系统总日志 /etc/logrotate.conf 日志切割配置文件 参考https://my.oschina.net/u/2000675/blog/908189 dmesg命令 dmesg’命令显示linux内核的环形缓冲区信息,我们可...

chencheng-linux
今天
1
0
MacOS下给树莓派安装Raspbian系统

下载镜像 前往 树莓派官网 下载镜像。 点击 最新版Raspbian 下载最新版镜像。 下载后请,通过 访达 双击解压,或通过 unzip 命令解压。 检查下载的文件 ls -lh -rw-r--r-- 1 dingdayu s...

dingdayu
今天
1
0
spring boot使用通用mapper(tk.mapper) ,id自增和回显等问题

最近项目使用到tk.mapper设置id自增,数据库是mysql。在使用通用mapper主键生成过程中有一些问题,在总结一下。 1、UUID生成方式-字符串主键 在主键上增加注解 @Id @GeneratedValue...

北岩
今天
2
0
告警系统邮件引擎、运行告警系统

告警系统邮件引擎 cd mail vim mail.py #!/usr/bin/env python#-*- coding: UTF-8 -*-import os,sysreload(sys)sys.setdefaultencoding('utf8')import getoptimport smtplibfr......

Zhouliang6
今天
1
0
Java工具类—随机数

Java中常用的生成随机数有Math.random()方法及java.util.Random类.但他们生成的随机数都是伪随机的. Math.radom()方法 在jdk1.8的Math类中可以看到,Math.random()方法实际上就是调用Random类...

PrivateO2
今天
2
0
关于java内存模型、并发编程的好文

Java并发编程:volatile关键字解析    volatile这个关键字可能很多朋友都听说过,或许也都用过。在Java 5之前,它是一个备受争议的关键字,因为在程序中使用它往往会导致出人意料的结果。在...

DannyCoder
昨天
1
0
dubbo @Reference retries 重试次数 一个坑

在代码一中设置 成retries=0,也就是调用超时不用重试,结果DEBUG的时候总是重试,不是0吗,0就不用重试啊。为什么还是调用了多次呢? 结果在网上看到 这篇文章才明白 https://www.cnblogs....

奋斗的小牛
昨天
2
0
数据结构与算法3

要抓紧喽~~~~~~~放羊的孩纸回来喽 LowArray类和LowArrayApp类 程序将一个普通的Java数组封装在LowArray类中。类中的数组隐藏了起来,它是私有的,所以只有类自己的方法才能访问他。 LowArray...

沉迷于编程的小菜菜
昨天
1
0
spring boot应用测试框架介绍

一、spring boot应用测试存在的问题 官方提供的测试框架spring-boot-test-starter,虽然提供了很多功能(junit、spring test、assertj、hamcrest、mockito、jsonassert、jsonpath),但是在数...

yangjianzhou
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部