文档章节

Hadoop实战读书笔记(5)

祥林会跟你远走高飞
 祥林会跟你远走高飞
发布于 2014/12/08 11:28
字数 2212
阅读 95
收藏 1

HDFS文件操作

你可以把一个大数据集(100TB)在HDFS中存储为单个文件,而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理,你也不必考虑这些细节。

 

HDFS Hadoop Distribution File System)文件系统到底是一个怎样的文件系统?

并不是一个Unix文件系统,不支持像lscp这种标准的Unix文件命令,也不支持如fopen()fread()这样的标准文件读写操作。但是Hadoop提供了一套与Linux文件命令类似的命令行工具。

 

一个典型的Hadoop工作流是指?

1、在别的地方生成数据文件(如日志文件)再将其复制到HDFS中。

2、由MapReduce程序处理这个数据,读取HDFS文件并将之解析为独立的记录(键/值对)

3、除非要定制数据的导入与导出,否则你几乎不必编程来读写HDFS文件。

 

Hadoop文件命令采取的形式是?

hadoop fs -cmd <args>

cmd是具体的文件命令,而<args>是一组数目可变的参数。cmd的命名通常与UNIX对应的命令名相同。如,文件列表的命令为:hadoop fs -ls

 

Hadoop最常用的文件管理任务包括?

1、添加文件和目录

2、获取文件

3、删除文件

 

Hadoop文件命令可以和本地文件系统交互吗?

Hadoop的文件命令既可以与HDFS文件系统交互,也可以和本地文件系统交互。

 

URI定位是指?完整的URL格式是?

URL精确地定位一个特定文件或目录的位置。

完整的URL格式为scheme://authority/path. Scheme类似于一个协议它可以是hdfsfile、来分别指定HDFS文件系统或本地文件系统。

 

对于HDFSauthorityNameNode的主机名,而path是文件或者目录的路径。

对于在本地机器的9000端口上,以标准伪分布式模型运行的HDFS,访问用户目录user/chuck中文件example.txtURI是什么?

hdfs://localhost:9000/user/chuck/example.txt

hadoop fs -cat hdfs://localhost:9000/user/chuck/example.txt

 

但是通常我们在使用Hadoop文件命令时没有指定URI中的scheme://authority部分

是怎么回事?

是的,大多数设置不需要指定URI中的scheme://authority部分

例如,当在本地文件系统和HDFS之间复制文件时

1put命令将本地文件复制到HDFS中,源是本地文件,目的是HDFS文件

2get命令将HDFS中文件复制到本地,源是HDFS文件,目的是本地文件。

如果未设置URI中的scheme://authority部分,就会采用Hadoop的默认配置fs.default.name属性的配置。

例如:conf/core-site.xml文件配置是:

<property>

       <name>fs.default.name</name>

       <value>hdfs://localhost:9000</value>

</property>

在此配置下,URI hdfs://localhost:9000/user/chuck/example.txt缩短为/user/chuck/example.txt

注:有些更早的文档以hadoop dfs -cmd <args>的形式表示文件工具。dfsfs是等价的,但现在都是用fs

 

HDFS默认当前工作目录是?

HDFS默认当前工作目录为/user/$USER,其中$USER是你的登录用户名。

例:如果你作为chuck登录,则URI hdfs://localhost:9000/user/chuck/example.txt就缩短为example.txt。显示文件内容的Hadoop cat命令可写为:

hadoop fs -cat example.txt

 

如何在HDFS上添加文件和目录?

首先必须确保几点:

1、必须先进行格式化

2、出于学习目的,建议使用伪分布式

3、默认工作目录是/user/$USER,但这个目录不会自动创建,需要手动创建先

手动创建默认工作目录

hadoop fs -mkdir /user/chuck

Hadoopmkdir命令会自动创建父目录,类似于UNIX中使用-p选项的mkdir命令,因此上述命令还会创建/user目录。

hadoop fs -ls / 该命令列出根目录下的所有文件和目录

hadoop fs -lsr / 该命令列出根目录下所有文件和子目录

hadoop fs -put example.txt . 将本地文件example.txt放入HDFS中。

后面的(.),意味着把文件放入默认的工作目录,等价于

hadoop fs -put example.txt /user/chuck

hadoop fs -ls 列出工作目录下的所有文件和目录

 

使用hadoop fs -ls命令列出内容和复制因子

通常情况下会列出如下面这样的view

Found 1 items

-rw-r--r-- 1 chuck supergroup 264 2009-01-14 11:02 /user/chuck/example.txt

显示属性信息,其他的不解释和UNIX的概念类似。主要说一下"1"列出文件的复制因子。伪分布式下它永远为1,对于生产环境中的集群,复制因子通常为3,也可以是任何正整数,复制因子不适用于目录,所以该列会显示一个(-)

 

如何检索文件?

Hadoopget命令与put命令相反,从HDFS中复制文件到本地文件系统。

比如hadoop fs -get example.txt 将它复制带本地的当前工作目录中。

hadoop fs -cat example.txt 也可以使用cat命令显示数据。

也可以使用管道命令 hadoop fs -cat example.txt | head

可以使用tail命令来查看最后的一千字节:

hadoop fs -tail example.txt

 

如何删除文件?

删除文件和空目录使用rm命令

hadoop fs -rm example.txt

 

如何查阅帮助?

hadoop fs (无参数) 来获取所用版本Hadoop的一个完整命令列表。

hadoop fs -help ls 显示每个命令的用法及简短描述。

 

HDFSJava API

虽然,命令行工具足以满足大多数与HDFS文件系统交互的需求,但是有些需求只能用Java API去访问,比如开发一个PutMerge程序,用于合并文件后放入HDFS中,命令行工具并不支持这个操作。

 

合并文件后放入HDFS中,什么时候会这样做呢?

考虑这样一个场景,需要分析来自许多Web服务器的Apache日志文件时,就有了建立这个例程的动机,虽然我们可以把每个日志文件都复制到HDFS中,但通常而言,Hadoop处理单个大文件会比处理许多个小文件更有效率。

 

为什么会日志数据会分散在多个文件?

这是由于Web服务器采用分布式架构所造成的。

 

一种解决办法是?为什么不直接合并?

一种解决办法是先将所有的文件合并,然后再复制到HDFS。可是,文件合并需要占用本地计算机的大量磁盘空间。如果我们能够在向HDFS复制的过程中合并它们就好了。

 

Hadoop命令行工具getmerge命令。

getmerge命令,用于把一组HDFS文件在复制到本地计算机之前进行合并,但我们想要的截然相反。我们是要putmerge命令。

 

Hadoop文件操作API是?

Hadoop中用作文件操作的主类位于org.apache.hadoop.fs软件包中,Hadoop的基本文件操作包括openreadwritecloseHadoop的文件API也可以用于HDFS以外的其他文件系统。

Hadoop文件API的起点是FileSystem类,这是一个与文件系统交互的抽象类,存在不同的具体实现子类用于处理HDFS和本地文件系统。你可以通过调用factory方法FileSystem.get(Configuration conf)来得到所需的FileSystem实例。Configuration类是用于保留键/值配置参数的特殊类。它的默认实例化方法是以HDFS系统的资源配置为基础的。

 

如何得到一个FileSystem对象?

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);

要得到一个专用于本地文件系统的FileSystem对象,可以使用factory方法的FileSystem.getLocal(Configuration conf);

FileSystem local = FileSystem.getLocal(conf);

其他说明:

Hadoop文件API使用Path对象来编制文件和目录名,使用FileStatus对象来存储文件和目录的元数据。PutMerge程序将合并一个本地目录中的所有文件。我们使用FileSystemlistStatus()方法来得到一个目录中的文件列表:

Path inputDir = new Path(args[0]);

FileStatus[] inputFiles = local.listStatus(inputDir);

数组inputFiles的长度等于指定目录中的文件个数。在inputFiles中每一个FileStatus对象均有元数据信息,如文件长度、权限、修改时间等。PutMerge程序所关心的是每个文件的Path,即inputFiles[i].getPath()。我们可以通过FSDataInputStream对象访问这个Path来读取文件。

FSDataInputStream in = local.open(inputFiles[i].getPath());

byte buffer[] = new byte[256];

int bytesRead = 0;

while ( (bytesRead = in.read(buffer)) > 0) {

       ...

}

in.close();

FSDataInputStreamJava标准类java.io.DataInputStream的一个子类,增加了对随机访问的支持。类似地有一个FSDataOutputStream对象用于将数据写入HDFS文件:

Path hdfsFile = new Path(args[1]);

FSDataOutputStream out = hdfs.create(hdfsFile);

out.write(buffer, 0, bytesRead);

out.close();


© 著作权归作者所有

祥林会跟你远走高飞
粉丝 27
博文 50
码字总数 98029
作品 0
昌平
程序员
私信 提问
Hadoop实战读书笔记(7)

输入数据概要 输入数据通常驻留在较大的文件中,通常几十或者数百GB,甚至更大。MapReduce处理的基本原则之一是将输入数据分割成块。这些块可以在多台计算机上并行处理,在Hadoop的术语中这些...

祥林会跟你远走高飞
2014/12/08
132
0
Hadoop实战读书笔记(8)

什么是开发数据集? 一个流行的开发策略是为生产环境中的大数据集建立一个较小的、抽样的数据子集,称为开发数据集。这个开发数据集可能只有几百兆字节。当你以单机或者伪分布式模式编写程序...

祥林会跟你远走高飞
2014/12/08
242
0
Hadoop实战读书笔记(6)

putmerge程序的大体流程是? 1、根据用户定义的参数设置本地目录和HDFS的目录文件 2、提取本地输入目录中每个文件的信息 3、创建一个输出流写入到HDF文件 4、遍历本地目录中的每个文件,打开...

祥林会跟你远走高飞
2014/12/08
65
0
敏捷教练成长记:漫漫长路第三周

看到跆拳道的软文,讲到: 学跆拳道的正确顺序: 第一阶段:有兴趣 第二阶段:没兴趣 第三阶段:逼练习 第四阶段:成习惯 第五阶段:有兴趣 第六阶段:真热爱 大部分家长在孩子第二阶段时放弃...

转型实践者
2017/11/17
0
0
2017年年终总结

前言 不知不觉,2017年又接近尾声了,又到了该写年终总结的时候了,往年这个时候都会熙熙攘攘,各大平台提早预热过年的气氛,而今年显得格外的平静,这可能正如我的现在的心境,波澜而不惊!...

韩俊强
2018/01/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周四乱弹 —— 水果你们都没吃全

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @ 莱布妮子:分享五月天的单曲《温柔》@小小编辑 @cIouddyy @clouddyy 《温柔》- 五月天 手机党少年们想听歌,请使劲儿戳(这里) @FalconChe...

小小编辑
31分钟前
91
1
聚合支付网站被黑客攻击 导致数据库被篡改的防御办法

2020春节即将来临,收到新聚合支付平台网站客户的求助电话给我们Sinesafe,反映支付订单状态被修改由原先未支付修改为已支付,导致商户那边直接发货给此订单会员了,商户和平台的损失较大,很多码...

网站安全
昨天
63
0
MySQL-基于SELECT查询的UPDATE查询

我需要检查(从同一张表)基于日期时间的两个事件之间是否存在关联。 一组数据将包含某些事件的结束日期时间,另一组数据将包含其他事件的开始日期时间。 如果第一个事件在第二个事件之前完成...

javail
昨天
70
0
将PostgreSQL数据库复制到另一台服务器

我正在将生产PostgreSQL数据库复制到开发服务器。 什么是最快,最简单的方法? #1楼 pg_dump the_db_name > the_backup.sql 然后将备份复制到您的开发服务器,并使用以下命令进行还原: ps...

技术盛宴
昨天
130
0
[译]软件架构师之路

今天给大家带来一篇自己翻译的干货《软件架构师之路》。本周Github上升很快的项目。其内容对致力于成为软件架构师(不论前后端)的同学应该都会有极大的帮助。 项目地址: 中文地址 https://...

gamedilong
昨天
79
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部