文档章节

Webhdfs VS Httpfs

China_OS
 China_OS
发布于 2017/05/12 10:40
字数 187
阅读 60
收藏 0

HTTPFS:

core-site.xml

<property>  
    <name>hadoop.proxyuser.httpfs.hosts</name>  
    <value>*</value>  
</property>  
<property>  
    <name>hadoop.proxyuser.httpfs.groups</name>  
    <value>*</value>  
</property> 


service hadoop-httpfs start

curl 'http://10.205.151.148:14000/webhdfs/v1/tmp?user.name=apprun&op=DELETE' | python -m json.tool
https://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-project-dist/hadoop-hdfs/WebHDFS.html?_ga=2.150097843.402918135.1494227714-1902937800.1476434772

curl -i -X DELETE "http://10.205.151.148:50070/webhdfs/v1/user/etl/test.txt?user.name=etl&op=DELETE"

WEBHDFS:+kerberos

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
<property>
  <name>dfs.webhdfs.user.provider.user.pattern</name>
  <value>^[A-Za-z0-9_][A-Za-z0-9._-]*[$]?$</value>
</property>

http://<active-namenode-server>:<namenode-port>/webhdfs/v1/<file-path>?op=OPEN


WebHDFS需要访问集群的所有节点,并且当读取某些数据时,它直接从该节点发送,而在HttpFs中,单个节点将作用类似于“网关”,并将作为单点数据传输到客户端节点。 因此,在大型文件传输过程中,HttpF可能会被阻塞,

© 著作权归作者所有

China_OS
粉丝 427
博文 463
码字总数 519985
作品 0
静安
技术主管
私信 提问
HTTPFS: 基于HTTP操作hadoop hdfs文件系统

一、HTTPFS简介 1:httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口,通过WebHDFS REST API 可以对hdfs进行读写等访问 2:与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一...

cloud-coder
2014/06/09
10.9K
5
http访问hdfs文件的调研

1. HTTPFS: 基于HTTP操作hadoop hdfs文件系统 http://my.oschina.net/cloudcoder/blog/277426 2. 利用JavaAPI访问HDFS的文件 http://blog.csdn.net/zhangzhaokun/article/details/5597433 3.......

zongquanliu
2014/11/19
0
0
how to install hadoop2.0.0 for centos6.4

1.JAVA INSTALL(root) ># mkdir /usr/JAVA >#./jdk-6u45-linux-i586.bin ># vim /etc/profile export JAVAHOME=/usr/JAVA/jdk1.6.045 export CLASSPATH=.:$JAVAHOME/jre/lib/rt.jar:$JAVAHOM......

temptrack
2013/10/24
237
0
55.HUE管理工具

HUE管理工具 HUE是一个开源的Hadoop Ul系统,它基于Python WEB框架实现,通过HUE我们可以在浏览端的WEB控制台上与Hadoop群集进行交互分析处理数据。 部署安装HUE3.11步骤: v 安装相关依赖包...

触动的风
2017/07/10
0
0
hadoop升级后,hive报错

问题: Exception in thread "main" java.lang.IncompatibleClassChangeError: Found interface jline.Terminal, but class was expected at jline.ConsoleReader.<init>(ConsoleReader.java......

Eric_Guan
2016/05/26
51
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
2.4K
15
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
41
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
40
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
61
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部