文档章节

hadoop 将Hdfs中的文件下载到本地

杨桃兄弟
 杨桃兄弟
发布于 2015/08/20 15:59
字数 161
阅读 404
收藏 0
import java.io.FileOutputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;

public class HdfsFile2Local {

	public static void main(String[] args) throws Exception {

		// 获取读取源文件和目标文件位置参数

		String local = "/usr/local/hadoop/output/a.txt";

		String uri = "hdfs://hadoop1:9000/user/hadoop/usr/test/local2hdfs_part.txt";

		FSDataInputStream in = null;

		OutputStream out = null;

		Configuration conf = new Configuration();

		try {

			// 获取读入文件数据
            FileSystem fs = FileSystem.get(URI.create(uri),conf);
            in =fs.open(new Path(uri));
		

			// 获取目标文件信息


			out = new FileOutputStream(local);

			byte[] buffer = new byte[1024];

			// 从101的位置读取20个字符到buffer中

			int bytesRead = in.read(buffer);

			if (bytesRead >= 0) {

				out.write(buffer, 0, bytesRead);

			}

		} finally {

			IOUtils.closeStream(in);

			IOUtils.closeStream(out);

		}

	}
}



© 著作权归作者所有

杨桃兄弟
粉丝 0
博文 4
码字总数 673
作品 0
丰台
项目经理
私信 提问
hadoop的体系结构 hadoop hdfs 命令

hadoop的体系结构 NameNode - 主节点主服务器 SecondaryNameNode– 是辅助nameNode DataNode -数据保存用的 TaskTracker – 接收任务 JobTracker - 分数据 -100M Datanode1,DataNode2,DataNo...

八戒_o
2015/12/03
317
0
Eclipse连接Hadoop分析的三种方式

Hadoop一般都部署在linux平台上,想让Hadoop执行我们写好的程序,首先需要在本地写好程序打包,然后上传到liunx,最后通过指定命令执行打包好的程序;一次两次还可以,如果进行频繁的调试是很...

ksfzhaohui
2016/10/27
2.4K
0
配置hadoop+pyspark环境

配置hadoop+pyspark环境 1、部署hadoop环境 配置hadoop伪分布式环境,所有服务都运行在同一个节点上。 1.1、安装JDK 安装jdk使用的是二进制免编译包,下载页面 下载jdk 解压文件,配置环境变...

巴利奇
2018/10/30
0
0
【Hadoop】- Hadoop常用命令

列出HDFS文件系统指定目录下文件:hadoop dfs –ls 目录 -d:只显示目录信息,不显示子目录 -h:以M为单位的内存显示 -R:子目录递归显示 HDFS创建目录:hadoop fs -mkdir [-p] HDFS删除目录:h...

ZeroneLove
02/24
7
0
Hadoop之MapReduce的Java实现

今天将为大家演示一下,Hadoop中MR用Java是如何编码实现的。 1.环境准备 1.1 需要把下载的hadoop包解压到windows目录下,注意不要有空格目录或者中文字符 image.png 1.2 配置环境变量 配置系...

landy8530
2017/11/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
今天
58
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
今天
27
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
今天
61
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
今天
57
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
今天
58
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部