文档章节

HDFS的exists函数解析

强子大叔的码田
 强子大叔的码田
发布于 2014/12/18 14:12
字数 456
阅读 1K
收藏 6

「深度学习福利」大神带你进阶工程师,立即查看>>>

在上传一个文件时,需要判断文件是否存在于HDFS中,这是通过向namenode节点发请求得到的。

那么,namenode如何判断一个文件是否存在于文件系统中呢?

------------------------

/**

     */

    public boolean exists(String src) throws IOException {

        return namesystem.exists(new UTF8(src));//直接调用namesystem.

    }

 那下面我们来看看namesystem是如何来判断的。

 

public boolean exists(UTF8 src) {

        if (dir.getFile(src) != null || dir.isDir(src)) {

            return true;//从这可以看到,要么确实存在,如果不存在且是目录也可以。

        } else {

            return false;

        }

    }

先分析getFile(...)函数。

-----------------------------------------

 

public Block[] getFile(UTF8 src) {

        waitForReady();

        synchronized (rootDir) {

            INode targetNode = rootDir.getNode(src.toString());//获取节点

            if (targetNode == null) {

                return null;//节点不存在

            } else {

                return targetNode.blocks;//节点存在,返回文件块信息

            }

        }

    }

 ----------继续分析getNode

 

INode getNode(String target) {

            if (! target.startsWith("/") || target.length() == 0) {

                return null;//路径是否规范

            } else if (parent == null && "/".equals(target)) {

                return this;//是否为根目录

            } else {

                Vector components = new Vector();

                int start = 0;

                int slashid = 0;

                while (start < target.length() && (slashid = target.indexOf('/', start)) >= 0) {

                    components.add(target.substring(start, slashid));

                    start = slashid + 1;

                }

                if (start < target.length()) {

                    components.add(target.substring(start));

                }

                return getNode(components, 0);//开启递归查找模式

            }

        }

 ---------

 INode getNode(Vector components, int index) {

            if (! name.equals((String) components.elementAt(index))) {

                return null;//当前INode的名字是否OK?

            }

            if (index == components.size()-1) {

                return this;//已经到了最后一个item

            }

            // Check with children

            INode child = (INode) children.get(components.elementAt(index+1));//根据文件名从children中查找对应INode,然后再递归查找

            if (child == null) {

                return null;

            } else {

                return child.getNode(components, index+1);

            }

        }

-------------好,然后分析isDir函数

 

public boolean isDir(UTF8 src) {

        synchronized (rootDir) {

            INode node = rootDir.getNode(normalizePath(src));

            return node != null && node.isDir();

        }

    }

这个就比较简单了,直接查看INode的block是否为NULL.

---从以上代码能分析出哪些结论?

1每个INode有个name

2 成员Block[] blocks记录了文件的块位置信息,如果没有则是目录

3 子INode信息存在TreeMap中,映射关系是(name,INode).

好,为后续分析提供了坚实的基础!

强子大叔的码田

强子大叔的码田

粉丝 924
博文 1659
码字总数 1294168
作品 9
杭州
架构师
私信 提问
加载中
请先登录后再评论。
CDH5: 使用parcels配置lzo

一、Parcel 部署步骤 1 下载: 首先需要下载 Parcel。下载完成后,Parcel 将驻留在 Cloudera Manager 主机的本地目录中。 2 分配: Parcel 下载后,将分配到群集中的所有主机上并解压缩。 3 激...

cloud-coder
2014/07/01
6.8K
1
beego API开发以及自动化文档

beego API开发以及自动化文档 beego1.3版本已经在上个星期发布了,但是还是有很多人不了解如何来进行开发,也是在一步一步的测试中开发,期间QQ群里面很多人都问我如何开发,我的业余时间实在...

astaxie
2014/06/25
2.7W
22
Nutch学习笔记4-Nutch 1.7 的 索引篇 ElasticSearch

上一篇讲解了爬取和分析的流程,很重要的收获就是: 解析过程中,会根据页面的ContentType获得一系列的注册解析器, 依次调用每个解析器,当其中一个解析成功后就返回,否则继续执行下一个解...

强子哥哥
2014/06/26
712
0
tiny php template--TPT

关于TPT TPT是php实现的用于模板解析小工具,全部实现仅仅60行代码。 配置 DIRCOMPILED和DIRTEMPLATE,分别表示模版编译目录和模版文件目录: define('DIRCOMPILED','/compileddiy');define(......

红猪-侠
2013/03/03
1K
1
C++的JSON解析类--JSONVALUE

Jsonvalue 是 C++ 的 JSON 类,用来解析 JSON 到 C++ 对象,也可将对象转成 JSON 字符串。支持 ANSI 和 Unicode。特点: 严格和松散模式 不同数据类型 简单 API 仅依赖 STL 示例代码: JSON...

匿名
2013/03/10
2.9K
1

没有更多内容

加载失败,请刷新页面

加载更多

珍藏已久的 OS 学习网站拿出来分享给大家

这是程序员cxuan的第14篇原创文章 平常经常看推荐各种资源教程的,感觉有很多文章稂莠不齐,这次我来推荐点硬核的网站,包你有收获。 一般很少有人推荐操作系统的网站吧。。。。。。这几个网...

osc_uzrw5b73
刚刚
0
0
为什么TikTok可以被禁,但绝对不能卖?

相关推荐: kafka集群扩容后的数据均衡 kafka数据存储目录间迁移 kafka分区数过多引发的弊端 戳原文,点在看! 本文分享自微信公众号 - 极客运维(hypernetworker)。 如有侵权,请联系 supp...

hyper-xu
昨天
0
0
IMX6ULL开发平台Linux-LED实验

在前面的章节中,我们学习了解了字符设备驱动,以及如何在设备树文件中添加设备信息,接下来就来看一下i.MX6UL终结者开发板的实际硬件是如何添加的。我们先以最简单的LED设备来看一下具体的注...

书白
1分钟前
0
0
树莓派k8s集群安装mysql

安装准备 树莓派k8s集群 root@pi4-master01:~# kubectl get nodes -o wideNAME           STATUS   ROLES    AGE     VERSION    INTERNAL-IP    EXTERNAL-IP   OS-IMAGE  ......

fastjrun
1分钟前
0
0
信息系统项目管理师

互联网+依托互联网信息技术实现互联网和传统产业的联合,以优化生产要素、更新业务体系、重构商业模式等途径来完成经济转型和升级。 开放系统的直连式存储(Direct-Attached Storage,简称DAS...

LitStone
1分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部