文档章节

向HDFS文件append新内容

 只要你快乐
发布于 2014/12/06 20:33
字数 216
阅读 38
收藏 0
点赞 0
评论 0
在hadoop1.2.1中,网上有很多文章说这个版本不支持文件追加模式,设置了
<property>
         <name>dfs.support.append</name>
         <value>true</value>
 </property>

无效

由于我现在做的项目需要这个功能,而升级hadoop似乎不太可能,然后查看源码发现,其中allowBrokenAppend是用于判断是否支持追加的标识符

this.allowBrokenAppend = conf.getBoolean("dfs.support.broken.append", false);
    if (conf.getBoolean("dfs.support.append", false)) {
      LOG.warn("The dfs.support.append option is in your configuration, " +
               "however append is not supported. This configuration option " +
               "is no longer required to enable sync");
    }
<pre name="code" class="java"> LocatedBlock appendFile(String src, String holder, String clientMachine
      ) throws IOException {
    if (!allowBrokenAppend) {
      throw new IOException("Append is not supported. " +
          "Please see the dfs.support.append configuration parameter");
    }
    startFileInternal(src, null, holder, clientMachine, false, true, 
                      false, (short)maxReplication, (long)0);
    getEditLog().logSync();

看到这里就很明白了吧,dfs.support.append属性已经作废不起作用了,如果想支持追加模式需要以下设置

<property>
         <name>dfs.support.broken.append</name>
         <value>true</value>
 </property>

© 著作权归作者所有

共有 人打赏支持
粉丝 1
博文 10
码字总数 7697
作品 0
杭州
程序员
关于 HDFS Append

作者:用户1984346023 (1) 背景 早期的HDFS版本不支持HDFS append功能. 当一个文件被关闭时, 这个文件就不能再被修改了. 如果要修改的话, 就只能重读此文件并将数据写入一个新的文件. 虽然这...

xiaogong1688 ⋅ 2017/08/03 ⋅ 0

依赖HDFS的HBase如何完成增删改查功能

作者:liqianyuan2009 1. HDFS的文件append功能 早期版本的HDFS不支持任何的文件更新操作,一旦一个文件创建、写完数据、并关闭之后,这个文件就再也不能被改变了。为什么这么设计?是为了与...

xiaogong1688 ⋅ 2017/08/03 ⋅ 0

hdfs上的append测试

作者:lc_koven  hbase在写入数据之前会先写hlog,hlog目前是sequencefile格式,采用append的方式往里追加数据。之前团队的同学测试关闭hlog会一定程序上提升写hbase的稳定性。而在我之前的...

xiaogong1688 ⋅ 2017/08/03 ⋅ 0

hadoop append问题纠结

hdfs append追加文件内容操作,按照官网上的要求加了 dfs.support.append true 配置,但是在调用append方法时还是报错:org.apache.hadoop.ipc.RemoteException: java.io.IOException: Appen...

ko24be ⋅ 2013/12/04 ⋅ 2

flume源码学习8-hdfs sink的具体写入流程

上一篇说了HDFSEventSink的实现,这里根据hdfs sink的配置和调用分析来看下sink中整个hdfs数据写入的过程: 线上hdfs sink的几个重要设置 hdfs.path = hdfs://xxxxx/%{logtypename}/%Y%m%d/%...

菜菜光 ⋅ 2015/03/07 ⋅ 0

HDFS文件操作

HDFS的文件操作 格式化HDFS 命令:user@namenode :Hadoop$bin/hadoop namenode -format 启动HDFS 命令:user@namenode :hadoop$bin/start-dfs.sh 列出HDFS上的文件 命令:user@namenode :ha......

超人学院 ⋅ 2015/05/21 ⋅ 0

Sqoop架构以及应用介绍

本篇文章在具体介绍Sqoop之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。 如上图所示:在实际的业务当中,我们首先对原始数据集通过MapReduce进行数据清...

a2011480169 ⋅ 2016/05/25 ⋅ 0

sqoop简介以及架构介绍

本篇文章在具体介绍Sqoop之前,先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。 如上图所示:在实际的业务当中,我们首先对原始数据集通过MapReduce进行数据清...

qi49125 ⋅ 2017/11/15 ⋅ 0

Flume源码-HDFSSink

HDFSSink功能中关键类类图 HDFSEventSink类 走通HDFSEventSink之前,肯定要对其中配置参数有了解url(Flume-HDFSSink配置参数说明) 1、configure()方法中,从配置文件中获取filePath,fileName...

巧克力黒 ⋅ 2017/12/21 ⋅ 0

How To Use Sqoop2 Increment Import

Sqoop2的增量导入很简单,根据某个字段值的变化,进行同步。如果要导出到一个存在文件的目录里,必须指定append mode为true。下图为官方文档的截图:一、全量同步表中存在3条数据,如下图:1...

candon123 ⋅ 2017/12/25 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

熊掌号收录比例对于网站原创数据排名的影响[图]

从去年下半年开始,我在写博客了,因为我觉得业余写写博客也还是很不错的,但是从2017年下半年开始,百度已经推出了原创保护功能和熊掌号平台,为此,我也提交了不少以前的老数据,而这些历史...

原创小博客 ⋅ 26分钟前 ⋅ 0

LVM讲解、磁盘故障小案例

LVM LVM就是动态卷管理,可以将多个硬盘和硬盘分区做成一个逻辑卷,并把这个逻辑卷作为一个整体来统一管理,动态对分区进行扩缩空间大小,安全快捷方便管理。 1.新建分区,更改类型为8e 即L...

蛋黄Yolks ⋅ 44分钟前 ⋅ 0

Hadoop Yarn调度器的选择和使用

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它负...

p柯西 ⋅ 55分钟前 ⋅ 0

uWSGI + Django @ Ubuntu

创建 Django App Project 创建后, 可以看到路径下有一个wsgi.py的问题 uWSGI运行 直接命令行运行 利用如下命令, 可直接访问 uwsgi --http :8080 --wsgi-file dj/wsgi.py 配置文件 & 运行 [u...

袁祾 ⋅ 今天 ⋅ 0

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

不羁之后 ⋅ 昨天 ⋅ 0

推荐:并发情况下:Java HashMap 形成死循环的原因

在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障,并且这个事发生了很多次,原因是在Java语言在并发情况下使用HashMap造成Race Condition,从而导致死循环。这个事情我4、5年前也经历...

码代码的小司机 ⋅ 昨天 ⋅ 1

聊聊spring cloud gateway的RetryGatewayFilter

序 本文主要研究一下spring cloud gateway的RetryGatewayFilter GatewayAutoConfiguration spring-cloud-gateway-core-2.0.0.RC2-sources.jar!/org/springframework/cloud/gateway/config/G......

go4it ⋅ 昨天 ⋅ 0

创建新用户和授予MySQL中的权限教程

导读 MySQL是一个开源数据库管理软件,可帮助用户存储,组织和以后检索数据。 它有多种选项来授予特定用户在表和数据库中的细微的权限 - 本教程将简要介绍一些选项。 如何创建新用户 在MySQL...

问题终结者 ⋅ 昨天 ⋅ 0

android -------- 颜色的半透明效果配置

最近有朋友问我 Android 背景颜色的半透明效果配置,我网上看资料,总结了一下, 开发中也是常常遇到的,所以来写篇博客 常用的颜色值格式有: RGB ARGB RRGGBB AARRGGBB 这4种 透明度 透明度...

切切歆语 ⋅ 昨天 ⋅ 0

CentOS开机启动subversion

建立自启动脚本: vim /etc/init.d/subversion 输入如下内容: #!/bin/bash## subversion startup script for the server## chkconfig: 2345 90 10# description: start the subve......

随风而飘 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部