文档章节

java对hdfs的操作

x
 xumumu
发布于 2014/09/01 18:36
字数 209
阅读 42
收藏 0
package hdfs;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
 * java对hdfs的操作
 * @author 林
 *
 */
public class App2 {
 public static final String HDFS_PATH = "hdfs://hadoop:9000";
 public static final String DRI_PATH = "/d1000";
 public static final String FILE_PATH = "/d1000/f1000";
 public static void main(String[] args) throws Exception {
  FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),new Configuration());
  //创建文件夹
  mkDri(fileSystem);
  //上传文件
  uploadDate(fileSystem);
  //下载文件
  downloadFile(fileSystem);
  //删除文件
  deleteFile(fileSystem);
 }
 public static void deleteFile(FileSystem fileSystem) throws IOException {
  fileSystem.delete(new Path(FILE_PATH), true);
 }
 
 //下载文件
 public static void downloadFile(FileSystem fileSystem) throws IOException {
  FSDataInputStream in = fileSystem.open(new Path(FILE_PATH));
  FileOutputStream out = new FileOutputStream(new File("D:/copy.txt"));
  //IOUtils.copyBytes(in, System.out, 2048, true);下载到控制台
  IOUtils.copyBytes(in,out, 2048, true);
 }
 
 //上传文件
 public static void uploadDate(FileSystem fileSystem) throws IOException,
   FileNotFoundException {
  FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
  FileInputStream in = new FileInputStream("D:/hadoop安装.txt");
  IOUtils.copyBytes(in, out, 1024,true);
 }
 //创建目录
 public static void mkDri(FileSystem fileSystem) throws IOException {
  fileSystem.mkdirs(new Path(DRI_PATH));
 }
}

© 著作权归作者所有

上一篇: shell对hdfs操作
下一篇: shell对hdfs操作
x
粉丝 0
博文 3
码字总数 1284
作品 0
通州
私信 提问
大数据(hadoop-HDFS的本地开发环境的配置与常见的HDFS的JAVA API)

HDFS的本地开发环境搭建 1:所需工具 1)hadoop2.7.3安装包 2)hadoop-eclipse-plugin插件 https://github.com/winghc/hadoop2x-eclipse-plugin 2:搭建过程 HDFS Java API介绍 configuratio......

这很耳东先生
2019/04/22
15
0
Apache Hadoop 入门教程第二章

Apache Hadoop 单节点上的安装配置 下面将演示快速完成在单节点上的 Hadoop 安装与配置,以便你对 Hadoop HDFS 和 MapReduce 框架有所体会。 先决条件 支持平台: GNU/Linux:已经证实了 Ha...

哈斗篷
2018/05/10
0
0
hadoop2.2.0伪分布式搭建

第一步:安装jdk 我的linux版本是centos7,使用最简单的安装方式,这里首先说一下,由于系统会预装openjdk版本等其他各种版本,首先要做的是清除这些版本,然后iu安装oracle的jdk版本 1.1 查...

施耀邦
2015/06/23
162
0
CDH版本hadoop2.6伪分布式安装

CDH版本hadoop的一个重要分支,使用hadoop-2.6.0-cdh5.9.0在单台CentOS配置hadoop伪分布式环境; 1、基础环境配置 1.1、关闭防火墙和SELinux 1.1.1、关闭防火墙 1.1.2、关闭SELinux 注:以上...

巴利奇
2018/10/30
0
0
Hadoop tutorial - 2 - 安装hadoop 2015-3-23

工具: xshell () 安装包: hadoop-2.6.0.tar.gz->2.4.1 http://archive.apache.org/dist/hadoop/core/hadoop-2.4.1/ ----------5/19/2017----------start https://archive.apache.org/dist......

jayronwang
2015/03/23
152
0

没有更多内容

加载失败,请刷新页面

加载更多

一分快3走势回血技巧一分快3走势规律技巧28438082

:QV:46~39~82~76 :包含与数字运算有关的类。 常用静态方法 abs():取绝对值,Math.abs(-100)=100 floor():向下取值,Math.floor(10.7)=10 round():四舍五入. Collections类:addAll(Colle...

旧梦忘倾
20分钟前
44
0
哈希表如何工作?

我正在寻找哈希表如何工作的解释 - 用简单的英语表示像我这样的傻瓜! 例如,我知道它需要密钥,计算哈希值(我正在寻找解释如何)然后执行某种模数来计算它存储在存储值的数组中的位置,但这...

javail
23分钟前
28
0
0121 spring-boot-redis的使用

redis是什么呢?redis,属于NoSQL的一种,在互联网时代,起到加速系统的作用。 redis是一种内存数据库,支持7种数据类型的存储,性能1S 10w次读写; redis提供的简单的事务保证了高并发场景下...

李福春carter
51分钟前
46
0
redis的有序集合研究

假设执行下面的操作 jedis.zadd("myzset", System.currentTimeMillis(), "An error is returned when key exists but does not hold a sorted set.\r\n" + "\r\n" ......

强子大叔的码田
今天
40
0
如何防止favicon.ico请求?

我没有favicon.ico,但IE总是提出请求。 是否可以阻止浏览器从我的网站请求favicon? 也许HTML标题中有一些META-TAG? #1楼 你不能。 您所能做的就是使该图像尽可能小,并在将来设置一些缓存...

技术盛宴
今天
48
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部