文档章节

HDFS的create函数解析及如何选择存储Block的DataNode

强子哥哥
 强子哥哥
发布于 2014/12/18 17:52
字数 1288
阅读 156
收藏 8
点赞 0
评论 0

话说client通过exists()函数得知目前的namenode那边不存在此文件后,

则通过namenode.create函数创建一个文件。具体细节如下:

 这里意味着:clientMachine的clientName创建了src文件。

clientMachine只用来选择目标DataNode.

public LocatedBlock create(String src, String clientName, String clientMachine, boolean overwrite) throws IOException {

        Object results[] = namesystem.startFile(new UTF8(src), new UTF8(clientName), new UTF8(clientMachine), overwrite);//调用文件系统的startFile函数,返回值为block信息和目标datanode信息

        if (results == null) {

            throw new IOException("Cannot create file " + src + " on client " + clientName);

        } else {

            Block b = (Block) results[0];//取回block

            DatanodeInfo targets[] = (DatanodeInfo[]) results[1];//获取DatanodeInfo数组信息

            return new LocatedBlock(b, targets);//组合返回最终信息 

        }

    }

====================================

下面开始学习

public synchronized Object[] startFile(UTF8 src, UTF8 holder, UTF8 clientMachine, boolean overwrite) {

 对此函数的分析如下:

public synchronized Object[] startFile(UTF8 src, UTF8 holder, UTF8 clientMachine, boolean overwrite) {

//背景知识:参数有holderclientMachine.比如一个例子如下:

Holder:DFS_CLIENT_xxxx

clientMachine:Machine66.

也就是说一个clientMachine上面可以有多个Holder.

一个clientMachine上的Holder发出了一个上传的请求。

下面的代码中哪里用到了holder和哪里用到了clientMachine,

还请读者自己注意思考。

        Object results[] = null;

        if (pendingCreates.get(src) == null) {//说明pendingCreates记录了正在创建的文件

            boolean fileValid = dir.isValidToCreate(src);//文件路径也确实不存在,需要这一句吗?

            if (overwrite && ! fileValid) {//如果可以覆盖的话,目前都是不可以覆盖

                delete(src);

                fileValid = true;

            }

            if (fileValid) {//确实可以的话,继续执行

                results = new Object[2];//创建返回结果的数组

                // Get the array of replication targets 

                DatanodeInfo targets[] = chooseTargets(this.desiredReplicationnull, clientMachine);

//根据clientMachine和备份数目选择多个目标datanode

                if (targets.length < this.minReplication) {

                    LOG.warning("Target-length is " + targets.length +

                        ", below MIN_REPLICATION (" + this.minReplication")");

                    return null;

                }//如果长度达不到备份数,则返回失败

                // Reserve space for this pending file

                pendingCreates.put(src, new Vector());//表明这个文件正在create!!!

                synchronized (leases) {//开始处理租约系统

                    Lease lease = (Lease) leases.get(holder);//查找租约系统

                    if (lease == null) {//如果不存在

                        lease = new Lease(holder);//创建

                        leases.put(holder, lease);//存储到leases

                        sortedLeases.add(lease);//存储到sortedLeases

                    } else {//如果存在的话,则lease本身刷新时间且重新加入到sortedLeases.

//注意,这里有一个sort过程。

                        sortedLeases.remove(lease);

                        lease.renew();

                        sortedLeases.add(lease);

                    }

                    lease.startedCreate(src);//lease的本身creates保存了文件名

                }

                // Create next block

                results[0] = allocateBlock(src);//主要是记录文件对应的Block信息

                results[1] = targets;//分配的datanode信息

            } else { // ! fileValid

              LOG.warning("Cannot start file because it is invalid. src=" + src);

            }

        } else {

            LOG.warning("Cannot start file because pendingCreates is non-null. src=" + src);

        }

        return results;//返回结果!

    }

 -------------------------------------------------------------

 

DatanodeInfo[] chooseTargets(int desiredReplicates, TreeSet forbiddenNodes, UTF8 clientMachine) {

        TreeSet alreadyChosen = new TreeSet();//初始化空的已经选择的机器

        Vector targets = new Vector();//真的无语。这里为啥还要再创建一个targets,浪费内存,直接传到chooseTarget一样的好吧!崩溃!

        for (int i = 0; i < desiredReplicates; i++) {//根据备份数来选择执行次数

            DatanodeInfo target = chooseTarget(forbiddenNodes, alreadyChosen, clientMachine);//选择单个机器

            if (target != null) {//选择好了一个,就加到targetsalreadyChosen.崩溃,加2次有啥意思!!!

                targets.add(target);

                alreadyChosen.add(target);

            } else {

                break// calling chooseTarget again won't help

            }

        }

        return (DatanodeInfo[]) targets.toArray(new DatanodeInfo[targets.size()]);//返回执行的结果

    }

---------------

=======================

 

DatanodeInfo chooseTarget(TreeSet forbidden1, TreeSet forbidden2, UTF8 clientMachine) {

        //

        // Check if there are any available targets at all

        //

        int totalMachines = datanodeMap.size();//获取当前已知的所有数据节点个数

        if (totalMachines == 0) {//0就不用说了,返回null

            LOG.warning("While choosing target, totalMachines is " + totalMachines);

            return null;

        }

        //

        // Build a map of forbidden hostnames from the two forbidden sets.

        //

        TreeSet forbiddenMachines = new TreeSet();

        if (forbidden1 != null) {//这里forbidden1是初始化禁止的节点,此处为null

            for (Iterator it = forbidden1.iterator(); it.hasNext(); ) {

                DatanodeInfo cur = (DatanodeInfo) it.next();

                forbiddenMachines.add(cur.getHost());

            }

        }

        if (forbidden2 != null) {//是已经选择的节点,因为已经选择的就不会再返回了,你懂的

            for (Iterator it = forbidden2.iterator(); it.hasNext(); ) {

                DatanodeInfo cur = (DatanodeInfo) it.next();

                forbiddenMachines.add(cur.getHost());

            }

        }

        //

        // Build list of machines we can actually choose from

        //

        Vector targetList = new Vector();//从总的节点中去掉不可以选择的节点,得到剩下的可选的节点

        for (Iterator it = datanodeMap.values().iterator(); it.hasNext(); ) {

            DatanodeInfo node = (DatanodeInfo) it.next();

            if (! forbiddenMachines.contains(node.getHost())) {

                targetList.add(node);

            }

        }

        Collections.shuffle(targetList);//本来不知道干嘛的,百度了一下,用来洗牌的

       //为啥?因为DFSShell采用计算机组成原理的菊花链的方式来上传数据。剩下的我就不用解释了

        

        //

        // Now pick one

        //

        if (targetList.size() > 0) {//如果还剩下确实可以选择的节点,并且clientMachine也在里面

            //并且容量大于5块,就直接返回clientMachine.我猜是为了本地加速

            //毕竟上传到本地和上传到远程主机是不一样的。

            // If the requester's machine is in the targetList, 

            // and it's got the capacity, pick it.

            //

            if (clientMachine != null && clientMachine.getLength() > 0) {

                for (Iterator it = targetList.iterator(); it.hasNext(); ) {

                    DatanodeInfo node = (DatanodeInfo) it.next();

                    if (clientMachine.equals(node.getHost())) {

                        if (node.getRemaining() > BLOCK_SIZE * MIN_BLOCKS_FOR_WRITE) {

                            return node;

                        }

                    }

                }

            }

            //

            // Otherwise, choose node according to target capacity

            //否则,就从中选择一个容量大于5块的节点

            for (Iterator it = targetList.iterator(); it.hasNext(); ) {

                DatanodeInfo node = (DatanodeInfo) it.next();

                if (node.getRemaining() > BLOCK_SIZE * MIN_BLOCKS_FOR_WRITE) {

                    return node;

                }

            }

            //

            // That should do the trick.  But we might not be able

            // to pick any node if the target was out of bytes.  As

            // a last resort, pick the first valid one we can find.

            //否则,就选择一个至少大于1块的节点

            for (Iterator it = targetList.iterator(); it.hasNext(); ) {

                DatanodeInfo node = (DatanodeInfo) it.next();

                if (node.getRemaining() > BLOCK_SIZE) {

                    return node;

                }

            }

            LOG.warning("Could not find any nodes with sufficient capacity");

            return null;//否则返回null

        } else {

            LOG.warning("Zero targets found, forbidden1.size=" +

                ( forbidden1 != null ? forbidden1.size() : 0 ) +

                " forbidden2.size()=" +

                ( forbidden2 != null ? forbidden2.size() : 0 ));

            return null;//一个可用来查找的节点都没有!

        }

    }

好,创建文件及选择Block的过程全部分析完毕! 

© 著作权归作者所有

共有 人打赏支持
强子哥哥

强子哥哥

粉丝 856
博文 551
码字总数 647493
作品 8
南京
架构师
Hbase写入hdfs源码分析

版权声明:本文由熊训德原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/258 来源:腾云阁 https://www.qcloud.com/community 本文档从源码角度分析了,...

偶素浅小浅 ⋅ 2016/12/12 ⋅ 0

HDFS的reportWrittenBlock函数解析

可先看下网友的解析:http://fire-balrog.iteye.com/blog/812281 以下为我的解析: 当一个Block经由所有的DataNode写完后,就需要告诉namenode可以执行reportWrittenBlock函数了。 下面就来解...

强子哥哥 ⋅ 2014/12/19 ⋅ 0

HDFS原理分析(一)—— 基本概念

HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。 一、HDFS的主要设计理念 1、存储超大文件 这里的“超大文件”是指几百MB、GB甚至TB级别的文件。 2、最高效...

shiw019 ⋅ 2012/11/28 ⋅ 0

HDFS原理分析:基本概念

HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系统。   一、HDFS的主要设计理念   1、存储超大文件   这里的“超大文件”是指几百MB、GB甚至TB级别的文件...

IT追寻者 ⋅ 2014/06/05 ⋅ 0

hadoop学习一:HDFS

HDFS和KFS都是GFS的开源实现,而HDFS是Hadoop的子项目,用Java实现,为Hadoop上层应用提供高吞吐量的可扩展的大文件存储服务。KFS是web级一个用如存储log data、Map/Reduce数据的分布式文件系...

SibylY ⋅ 2013/09/13 ⋅ 1

Hadoop中HDFS的工作原理

HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。 HDFS有很多特点: ① 保存...

脸大的都是胖纸 ⋅ 2015/04/22 ⋅ 0

Hadoop HDFS概念学习系列之初步掌握HDFS的架构及原理2(二)

HDFS 如何读取文件? HDFS的文件读取原理,主要包括以下几个步骤: 1、首先调用FileSystem对象的open方法,其实获取的是一个DistributedFileSystem的实例。 2、DistributedFileSystem通过RPC...

技术小哥哥 ⋅ 2017/11/08 ⋅ 0

HDFS的工作流程分析

作者: Bryanzhou HDFS的工作机制概述 HDFS集群分为两大角色:NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小(blocksi...

xiaogong1688 ⋅ 2017/08/02 ⋅ 0

DADOOP集群HDFS工作机制

hdfs的工作机制 概述 1. HDFS集群分为两大角色:NameNode、DataNode (Secondary Namenode) 2. NameNode负责管理整个文件系统的元数据 3. DataNode 负责管理用户的文件数据块 4. 文件会按照固...

weixin_40747272 ⋅ 04/15 ⋅ 0

Hadoop之HDFS原理与操作

HDFS原理 HDFS(Hadoop Distributed File System)是一个分布式文件系统,是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问,非常适合大规模数据集上的应用,它提供了一个高度...

莫问viva ⋅ 2016/02/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

tcp/ip详解-链路层

简介 设计链路层的目的: 为IP模块发送和接收IP数据报 为ARP模块发送ARP请求和接收ARP应答 为RARP模块发送RARP请求和接收RARP应答 TCP/IP支持多种链路层协议,如以太网、令牌环往、FDDI、RS-...

loda0128 ⋅ 57分钟前 ⋅ 0

spring.net aop代码例子

https://www.cnblogs.com/haogj/archive/2011/10/12/2207916.html

whoisliang ⋅ 今天 ⋅ 0

发送短信如何限制1小时内最多发送11条短信

发送短信如何限制1小时内最多发送11条短信 场景: 发送短信属于付费业务,有时为了防止短信攻击,需要限制发送短信的频率,例如在1个小时之内最多发送11条短信. 如何实现呢? 思路有两个 截至到当...

黄威 ⋅ 昨天 ⋅ 0

mysql5.7系列修改root默认密码

操作系统为centos7 64 1、修改 /etc/my.cnf,在 [mysqld] 小节下添加一行:skip-grant-tables=1 这一行配置让 mysqld 启动时不对密码进行验证 2、重启 mysqld 服务:systemctl restart mysql...

sskill ⋅ 昨天 ⋅ 0

Intellij IDEA神器常用技巧六-Debug详解

在调试代码的时候,你的项目得debug模式启动,也就是点那个绿色的甲虫启动服务器,然后,就可以在代码里面断点调试啦。下面不要在意,这个快捷键具体是啥,因为,这个keymap是可以自己配置的...

Mkeeper ⋅ 昨天 ⋅ 0

zip压缩工具、tar打包、打包并压缩

zip 支持压缩目录 1.在/tmp/目录下创建目录(study_zip)及文件 root@yolks1 study_zip]# !treetree 11└── 2 └── 3 └── test_zip.txt2 directories, 1 file 2.yum...

蛋黄Yolks ⋅ 昨天 ⋅ 0

聊聊HystrixThreadPool

序 本文主要研究一下HystrixThreadPool HystrixThreadPool hystrix-core-1.5.12-sources.jar!/com/netflix/hystrix/HystrixThreadPool.java /** * ThreadPool used to executed {@link Hys......

go4it ⋅ 昨天 ⋅ 0

容器之上传镜像到Docker hub

Docker hub在国内可以访问,首先要创建一个账号,这个后面会用到,我是用126邮箱注册的。 1. docker login List-1 Username不能使用你注册的邮箱,要用使用注册时用的username;要输入密码 ...

汉斯-冯-拉特 ⋅ 昨天 ⋅ 0

SpringBoot简单使用ehcache

1,SpringBoot版本 2.0.3.RELEASE ①,pom.xml <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.0.3.RELE......

暗中观察 ⋅ 昨天 ⋅ 0

Spring源码解析(八)——实例创建(下)

前言 来到实例创建的最后一节,前面已经将一个实例通过不同方式(工厂方法、构造器注入、默认构造器)给创建出来了,下面我们要对创建出来的实例进行一些“加工”处理。 源码解读 回顾下之前...

MarvelCode ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部