文档章节

读取Haoop中hdfs中的文件

杨桃兄弟
 杨桃兄弟
发布于 2015/08/20 15:56
字数 81
阅读 8
收藏 0

准备hadoop环境,安装eclplce 插件

public static void main(String[] args) {
		String uri ="hdfs://hadoop1:9000/user/hadoop/input/README.txt";
		Configuration conf = new Configuration();
		InputStream in = null;
		try {
			FileSystem fs = FileSystem.get(URI.create(uri), conf);
			in = fs.open(new Path(uri));
			IOUtils.copyBytes(in, System.out,conf);

		} catch (IOException e) {
			e.printStackTrace();
		} finally {
			IOUtils.closeStream(in);
		}

	}

运行结果如下:

© 著作权归作者所有

杨桃兄弟
粉丝 0
博文 4
码字总数 673
作品 0
丰台
项目经理
私信 提问
spark 2.2.0 高可用搭建

一、概述 1.实验环境基于以前搭建的haoop HA; 2.spark HA所需要的zookeeper环境前文已经配置过,此处不再重复。 3.所需软件包为:scala-2.12.3.tgz、spark-2.2.0-bin-hadoop2.7.tar 4.主机规...

一语成谶灬
2017/10/13
0
0
教你玩转Hadoop分布式集群搭建,进击大数据

作者:小哥 终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相关的文章。 Hado...

小数点
2017/12/06
0
0
HDFS的基本操作(增删查)

本片文章主要介绍利用FileSystem API对HDFS进行相关操作,如增删查等——HDFS不支持对文件在任意位置修改。 1 从HDFS中读取数据 从HDFS中读取数据,主要是从存放在HDFS中的文件中读取数据,可...

lu__peng
2018/01/05
0
0
HDFS文件读写流程讲解

一、HDFS体系结构 HDFS作为分布式文件系统,使用的是master/slave体系结构,角色有三种: NameNode:为HDFS提供元数据服务,NameNode可以控制所有文件的操作,它会把所有的文件元数据存储在文...

姚攀的博客 1.01^365=31.78
2017/12/12
0
0
hadoop中的文件,转换为datahandler

最近编程的过程中,需要用到这样一个功能。我想把hadoop中的一个文件内容,转换为DataHandler类,中间不通过本地系统。表达能力有点差,详细解释一下。 在本地系统中,创建一个DataHandler类...

断水为桥
2014/04/06
151
0

没有更多内容

加载失败,请刷新页面

加载更多

Java agentlib参数分析

Java agentlib参数分析 再用intellij idea进行远程调试的时候,具体的配置选项如下: 标红的一行显示了远程调试需要添加的虚拟机参数。这个参数到底有什么意义? 我在命令行输入java命令,输...

Mr_Tea伯奕
28分钟前
1
0
四种软件架构演进史,程序员会一种就很牛了!

如果一个软件开发人员,不了解软件架构的演进,会制约技术的选型和开发人员的生存、晋升空间。这里我列举了目前主要的四种软件架构以及他们的优缺点,希望能够帮助软件开发人员拓展知识面。 ...

我最喜欢三大框架
33分钟前
3
0
如何做高可用的架构设计?

定义目标 既然我们的目标是做到高可用,那么我们就有必要先明确清楚高可用的含义,并通过拆解目标,让目标可以被量化。按照我的理解,可以将目标按照以下三条进行拆解: 1. 保持业务高稳定性...

别打我会飞
33分钟前
1
0
《错误的行为》的读后感优秀范文4000字

《错误的行为》的读后感优秀范文4000字: 第一章经济人和非理性人。本书中的经纪人是指经济学家经济模式中虚拟的理想人物,非理性人是指现实生活中实实在在存在的人,与经济人相对应的人。 ...

原创小博客
45分钟前
3
0
将二叉搜索树转换成一个排序的双向链表。要求不能创建任何新的结点,只能调整树中结点指针的指向

作者图解释很好 https://blog.csdn.net/yanxiaolx/article/details/52073221

南桥北木
50分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部