文档章节

HDFS FileStatus检索文件和目录相关信息

hiqj
 hiqj
发布于 2014/08/12 16:56
字数 110
阅读 58
收藏 0
package com.lango.mapreduce.example.chainmapper;

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class Test {
    public static void main(String[] args) throws IOException {
        String INPUT_PATH = "/access_data";
        Test.iterFs(INPUT_PATH);
    }
    
    private static void iterFs(String INPUT_PATH) throws IOException {

        Configuration conf = new Configuration();
        conf.set("fs.default.name", "hdfs://master:9000");
        FileSystem hdfs = FileSystem.get(conf);
        
        Path listf = new Path(INPUT_PATH);
        FileStatus stats[] = hdfs.listStatus(listf);
        
        for(FileStatus f : stats){
            String fsPath = f.getPath().toString();
            System.out.println(fsPath);
            if(f.isDir()){
                iterFs(fsPath);
            } else {
                System.out.println(fsPath);
            }
        }
    }
}


© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
hadoop深入研究:(二)——java访问hdfs

转载请注明出处,http://blog.csdn.net/lastsweetop/article/details/9001467 所有源码在github上,https://github.com/lastsweetop/styhadoop 读数据 使用hadoop url读取 比较简单的读取hdf......

lastsweetop
2013/06/03
0
0
Hadoop中一些Java Api操作(23)

Hadoop基本文件系统操作: 1.首先从本地文件系统将一个文件复制到HDFS: hadoop fs-copyFromLocal input/docs/quangle.txthdfs://localhost/user/tom/quangle.txt 把文件复制回本地文件系统,...

肖鋭
2014/03/12
495
0
【Hadoop】- HDFS API 基本用法

HDFS: Hadoop设计的一种分布式文件系统,本文主要介绍hdfs文件系统的JavaAPI的使用 ①:公共代码:设置hdfs的访问接口 ②:获取HDFS分布式文件系统内部的DataNode节点信息 ③:判断HDFS是否存...

ZeroneLove
2019/02/24
10
0
【Hadoop】- HDFS Java客户端操作

开发工具:eclipse + maven + jdk1.8 代码 测试代码: maven 配置 注意: hadoop运行其实并不依赖与Hadoop Eclipse插件,Hadoop Eclipse插件只是简单的封装Hadoop的配置参数,本质也是通过Had...

ZeroneLove
2019/02/24
7
0
hadoop: hdfs API示例

利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图: 为了方便操作,将常用的文件读写操作封装了一个工具类: 1 import org.apache.hadoop....

八戒_o
2016/06/29
76
0

没有更多内容

加载失败,请刷新页面

加载更多

如何优雅地检测JavaScript中的空闲时间?

是否可以在JavaScript中检测“ 空闲 ”时间? 我的主要用例可能是预取或预加载内容。 空闲时间: 用户不活动或没有使用CPU的时间 #1楼 如果不使用jQuery,则仅使用普通JavaScript: var inac...

技术盛宴
41分钟前
31
0
获取枚举值的属性

我想知道是否可以获取枚举值而不是枚举本身的属性? 例如,假设我有以下枚举: using System.ComponentModel; // for DescriptionAttributeenum FunkyAttributesEnum{ [Description(...

javail
今天
78
0
concurrently 启动多个serve时命令行输出混乱

在script中配置中加入参数 -r "start": "npx concurrently -r \"npm:serve\" \"npm:web\"" 输出比较整洁 输出混乱, 会将有用的信息冲掉...

阿豪boy
今天
48
0
每天AC系列(三):电话号码的字母组合

1 题目 Leetcode第17题。 数字2-9映射字母,给出一个包含字符串的数字,列出字母的所有组合。 2 递归 拿到这样的题目想到了递归实现,创建一个Map映射对应的字母,然后把它传给递归函数,同时...

Blueeeeeee
今天
44
0
Kettle自定义jar包供javascript使用

我们都知道 Kettle 是用 Java 语言开发,并且可以在 JavaScript 里面直接调用 java 类方法。所以有些时候,我们可以自定义一些方法,来供 JavaScript 使用。 本篇文章有参考自:https://www...

CREATE_17
昨天
114
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部