文档章节

Hadoop中其他知识(24)

肖鋭
 肖鋭
发布于 2014/03/13 23:29
字数 839
阅读 85
收藏 1

            Thrift:

                        因为Hadoop文件系统的接口是通过JAVAApi提供的,所以其他非Java应用程序访问Hadoop文件系统会比较麻烦。

                        Thriftfs定制功能模块中ThriftApi通过把hadoop文件系统包装成一个ApacheThrift服务来弥补这个不足,从而使任何具有Thrift绑定的语言都能轻松地与Hadoop文件系统进行交互。

            C语言:

                        Hadoop提供了一个名为LibHDFS的C语言库,该语言库是JavaFileSystem接口类的一个镜像(它被编写成访问HDFS的C语言库,但它其实可以访问Hadoop文件系统)。它可以使用Java原生接口(JavaNativeInterface,JNI)调用Java文件系统客户端。

                        C语言API与Java的API非常相似,但它的开发一般滞后于JavaApi,因此目前一些新的特性可能还不支持。

                        注:Hadoop中的RPC接口是基于Hadoop的Writable接口开发的,并以Java为中心开发语言。今后,Hadoop

                               还将采用跨语言的AvroRPC框架,该框架允许使用除了Java以外的其他语言编写的HDFS客户端。

            FUSE:

                        用户控制文件系统(FileSysteminUserspace,FUSE)允许把按照用户空间实现的文件系统整合成一个Unix文                            件系统。通过使用Hadoop的Fuse-DFS功能模块,任意一个Hadoop文件系统(一般为HDFS)均可以作为

                        一个标准文件系统进行挂载。随后便可以使用Unix工具(如ls和cat)与该文件系统交互,还可以通过任意一种

                        编程语言调用POSIX库来访问文件系统。

                        Fuse-DFS是用C语言实现的,调用libhdfs并作为访问HDFS的接口,关于如何编译和运行Fuse-DFS的文档,

                        可以在Hadoop发行版本的src/contrib/fuse-dfs目录中找到。

            WebDAV:

                            WebDAV扩展了HTTP,并支持文件编辑和文件更新。在大部分操作系统中,WebDAV共享均可以作为

                            文件系统进行挂载,由此通过WebDAV来向外提供HDFS(或其他Hadoop文件系统的访问接口,并将                                    HDFS作为一个标准文件系统进行访问)。

            其他HDFS接口:

                                    HDFS有2种特定的接口:

                                                                        HTTP:

                                                                                    HDFS定义了一个以HTTP方式检索目录列表和数据的只读接口。

                                                                                     嵌入在namenode中的Web服务器(运行在50070端口上)以XML

                                                                                     格式提供目录列表服务,而嵌入在datanode的Web服务器(运行

                                                                                      在50075端口)提供文件数据传输服务。该协议并不绑定于某个

                                                                                      特定的HDFS版本,由此用户可以利用HTTP协议编写从运行不同

                                                                                      版本的HadoopHDFS集群中读取数据的客户端。HftFileSystem就

                                                                                      是其中一种:一个通过HTTP协议与HDFS交互的Hadoop文件系统

                                                                                      接口(HsftpFileSystem是HTTPS的变种).

                                                                        FTP:

                                                                                    HDFS还有一个FTP接口,该接口运行使用FTP协议与HDFS进行交                                                                                        互,该接口很方便,它使用现有FTP客户端与HDFS进行数据传输。

                                                                                    请不要把HDFS的FTP接口与FTPFileSystem混为一谈,因为该接口

                                                                                    可以将任意FTP服务器展示为Hadoop文件系统。


                                                                                                                        Name:Xr

                                                                                                                        Date:2014-03-13 23:29

                                                                                   

© 著作权归作者所有

肖鋭
粉丝 10
博文 62
码字总数 29531
作品 0
朝阳
程序员
私信 提问
快速搭建hadoop+hbase分布式集群

hadoop集群部署 1. 准备三台机器,如,, 2. 修改主机名称,配置文件(root用户下操作): Shell代码 # 每台机器执行,我这里hd开头,后边的数字与机器ip的最后一个组一致 hostnamectl set-host...

squanchao
2016/07/28
81
0
Hadoop 在格式化 namenode 时出现以下问题:

格式化仍输出如下: hadoop@ubuntu :~$ hadoop namenode -format ^[[3~12/10/24 16:51:41 INFO namenode.NameNode: STARTUP_MSG: /*******************************************************......

dalu~
2012/10/24
46.8K
11
yarn任务调度策略

yarn几种调度简介 Yarn 调度器Scheduler详解 fair scheduler详解 fair scheduler每一项配置详解:Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数 官网关于fair scheduler配置详解:Had...

cjun1990
2016/11/01
150
0
零基础学习hadoop到上手工作线路指导(初级篇)

零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易。才刚接触大数据时,曾经想过培训,但是培训机构的选择就让我很纠结。因为师兄跟我说,很多培训机构的老师其实以前就是他们的学...

我思gu我在
2017/01/09
211
3
Hadoop 环境设置

Hadoop操作模式 一旦下载了Hadoop,您就可以使用以下三种支持模式之一来操作Hadoop集群: 本地/独立模式 :在系统中下载Hadoop之后,默认情况下,它以独立模式配置,并且可以作为单个Java进程...

h8b6pk7m7r8
2017/11/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

spring boot actuator

actuator 是监控系统健康的工具,引入 spring-boot-starter-actuator会暴露一些endpoint. 可通过如下配置来配置这些endpoint的基本配置: 可通过http:${url}:28081/management/actuator/*来访...

ZH-JSON
26分钟前
5
0
9.特殊权限 软连接 硬链接

6月7日任务 2.18 特殊权限set_uid 2.19 特殊权限set_gid 2.20 特殊权限stick_bit 2.21 软链接文件 2.22 硬连接文件 2.18 特殊权限set_uid 会发现有些文件的前三位并不是rwx而是rws,而s就代表...

oschina130111
38分钟前
2
0
好程序员web前端分享如何自学前端?步骤是什么?

好程序员web前端分享如何自学前端?步骤是什么?简单粗暴直接上学习流程。 1、学习HTML+CSS基础 HTML5新特性和CSS3 这个部分主要是需要记忆的知识点比较多,建议大家在学习的时候多加练习,最...

好程序员官方
39分钟前
4
0
创龙基于TI TMS320C6748定点/浮点DSP C674x + Xilinx Spartan-6 FPGA开发板

TL6748F-EVM是一款基于广州创龙SOM-TL6748F核心板设计的开发板,底板采用沉金无铅工艺2层板设计,它为用户提供了SOM-TL6748F核心板的测试平台,用于快速评估SOM-TL6748F核心板的整体性能。 ...

Tronlong创龙
45分钟前
3
0
8年前诞生于淘宝,细数阿里云RPA 的前世今生

9月10日,踏入55岁的马云正式卸任阿里巴巴董事局主席一职,由阿里巴巴集团CEO张勇接任。公寓创业、西湖论剑、美国敲钟,从成立到登顶中国最值钱的公司,阿里巴巴只用了20年。 阿里云RPA,201...

阿里云官方博客
49分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部