加载中
HDFS的客户端编写-重构版

public class MyHDFSSupport { private static final Log logger = LogFactory.getLog(MyHDFSSupport.class); private static ThreadLocal<MyInformation> threadLocalInformations = new Th...

HDFS之blockreport更新操作解释

0.1版 --- 在datanode的函数 public void offerService() throws Exception {中, 有这么一段函数 if (now - lastBlockReport > blockReportInterval) { // // Send latest blockinfo repor...

HDFS-2.7.0系列3: hdfs namenode -format

上一节,讲过了,执行hadoop namenode -format后 实际上是执行 /root/hadoop-2.7.0-bin/bin/hdfs namenode -format 下面就来分析这个脚本 --- bin=`which $0` bin=`dirname ${bin}` bin...

HDFS-2.7.0系列2: hadoop namenode -format脚本解析

我们都知道,在Hadoop 2.7.0中,系统刚开始执行时,需要执行一个命令就是 hadoop namenode -format 下面我们就来逐行分析下,这个命令对应的脚本的真正内涵! --- bin=`which $0` bin=`di...

HDFS-2.7.0系列1: 跟随Hadoop 2.7.0 编译HDFS

mark之,后续该好好研究下HDFS了。 PS:准备要小孩了,从2015-6-1开始每天晚上绕百家湖跑步一圈。 ------ 2015-5-31 16:35:00

TextInputFormat之getSplits函数分析

Client提交任务后,JobInProgress类会调用设置的InputFormat类的getSplits函数。 下面分析下TextInputFormat格式的getSplits函数。 先调用了这个函数 /** List input directories. * Subcla...

关于HDFS之哲学篇

伟大的作家XXX曾经说过:1000个人便有1000个HDFS。

HDFS中的DataNode菊花链式接收数据

public void run() {//数据节点运行 try { DataInputStream in = new DataInputStream(new BufferedInputStream(s.getInputStream())); try {//获取输入流 byte op = (byte) in.read();//读取...

HDFS的reportWrittenBlock函数解析

可先看下网友的解析:http://fire-balrog.iteye.com/blog/812281 以下为我的解析: 当一个Block经由所有的DataNode写完后,就需要告诉namenode可以执行reportWrittenBlock函数了。 下面就来解...

HDFS中的addBlock函数

public LocatedBlock addBlock(String src, String clientMachine) throws IOException { int retries = 5;//设定重试次数为5 Object results[] = namesystem.getAdditionalBlock(new UTF8(s...

HDFS的create函数解析及如何选择存储Block的DataNode

话说client通过exists()函数得知目前的namenode那边不存在此文件后, 则通过namenode.create函数创建一个文件。具体细节如下: 这里意味着:clientMachine的clientName创建了src文件。 client...

HDFS的exists函数解析

在上传一个文件时,需要判断文件是否存在于HDFS中,这是通过向namenode节点发请求得到的。 那么,namenode如何判断一个文件是否存在于文件系统中呢? ------------------------ /** */ publ...

HDFS如何实现本地文件上传?

上传时,涉及到很多IO类,但是最关键的类就是:DFSOutputStream这个类。【0.1.0】 下面就开始分析这个类的代码。 -------------------------------------------类结构分析 ----------------...

Nutch的HDFS文件输出

以1.7为例,之前Nutch的输出可以自定义其它存储系统中,具体原理不赘述。 项目有个需求,就是文件仍然保存在HDFS中,而不是索引到其它存储系统中。 也就是说,不用写 public class XXX imple...

HDFS【2.5.1】系列3:解密命令行 ./bin/hdfs namenode -format

学习Hadoop的过程中,教程标注需要在启动集群之前先格式化hdfs文件系统。 我之前以为格式化就跟linux一样, 后来很粗略的看过老版的源码,发现比我想的要简单很多。唯一可以解释的就是分布式...

HDFS【2.5.1】系列2:hadoop 2.5.1的源码编译---研究HDFS的准备工作

为了学习HDFS 源码,我们需要从源码来编译hadoop,这样也可以修改源码来跟踪。 下面就开始描述编译步骤.我的操作系统是ubuntu 虚拟机里有3台机器,我选择了其中1台编译了Hadoop. 另外:一定要...

HDFS【2.5.1】系列1:HDFS的核心数据结构---元数据

我们都知道Hadoop的底层是HDFS-Hadoop Distributed File System.也就是Hadoop分布式文件系统。 所有的运算都是基于HDFS文件的,它的核心关键词有:主从NameNode VS DataNode. -----------其中...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部