文档章节

批量替换目录中的文件内容

sucre
 sucre
发布于 2016/07/11 16:56
字数 224
阅读 26
收藏 0
点赞 0
评论 0
grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/,/,/g"
grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/\\$/,/g"

将目录下所有以0开头的文件中的英文逗号替换为中文逗号,再将$替换为英文逗号,注意这里要将.000开头,.crc结尾的文件排除在外,因为这些是校验文件,修改后,再次往hive中导入文件的时候,会出现以下错误

Failed with exception Checksum error: file:/var/lib/hadoop-hdfs/000000_0 at 0 exp: 264275974 got: 1334332137
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.CopyTask

发现一个问题,一旦修改了hive改出文件的分割符再想将修改后的文件导入到hive中的时候,一定会报错,所以要想导入成功,最好方法就是不修改分析后的数据,直接导入到hive中。

© 著作权归作者所有

共有 人打赏支持
sucre
粉丝 30
博文 362
码字总数 207396
作品 0
高级程序员
shell脚本批量替换文件名和文件的内容

方法1: 这两天在做camera bringup的时候,需要添加chromatic文件,由于有需要太多的文件里面的内容进行替换,手工一个个改文件配置有点不太实际,所以google了一下,找到...

PlayWithYou ⋅ 2017/11/12 ⋅ 0

[笔记]将JSP页面的有关URL从JSTL替换为EL风格~

eclipse正则批量替换实验~ 一项目的webapp目录下的所有.jsp文件中的内容从""或者""批量替换成"${ctx}/.../..."!!! 目前使用eclipse的正则查找替换实验出来的正则表达式如下: Find框填入:...

leeoo ⋅ 2011/12/24 ⋅ 0

linux sed 批量替换多个文件中的字符串

linux sed 批量替换多个文件中的字符串 http://blog.csdn.net/kauu/article/details/1757325 分类: linux 2007-08-24 13:02 3900人阅读 评论(4) 收藏 举报 一、linux sed 批量替换多个文件中...

scaredme ⋅ 2012/04/02 ⋅ 1

基于命令的批量修改文件内容

Linux下批量替换多个文件中的字符串的简单方法 :%s/oldstring/newstring/g Linux下批量替换多个文件中的字符串的方法 用sed命令可以批量替换多个文件中的字符串。 sed -i "s/原字符串/新字符...

长平狐 ⋅ 2013/01/06 ⋅ 0

基于命令的批量修改文件内容

Linux下批量替换多个文件中的字符串的简单方法 :%s/oldstring/newstring/g Linux下批量替换多个文件中的字符串的方法 用sed命令可以批量替换多个文件中的字符串。 sed -i "s/原字符串/新字符...

晨曦之光 ⋅ 2012/03/02 ⋅ 0

linux批量替换文件内容3种方法(perl,sed,shell)

方法1: 这两天在构建一个应用的使用用到了maven,由于project很大,足足有700多个 pom.xml文件,更郁闷的是在很多pom.xml文件里都单独指定了资源库的url,我需要把这些资源库的url统一指定到nex...

夏日晚晴天 ⋅ 2013/11/21 ⋅ 0

批量 文本内容替换, 改文件名 shell 脚本

原文:批量文本内容替换, 改文件名 shell 脚本 作者:Breaker 写了个 shell 脚本 repren.sh,替换当前目录下的文本文件(根据扩展名、文件名决定)中的字符串 OLDTEXT 为 NEWTEXT,将含 OLDT...

晨曦之光 ⋅ 2012/05/23 ⋅ 0

DEDE数据库语句 DEDESQL命令批量替换 SQL执行语句

利用SQL命令批量修 DEDE数据库语句 DEDESQL命令批量替换 SQL执行语句 1.更改文章中的内容 Dede教程-598080707.NET 例如:update dede_addonarticle set body=replace(body,'音乐下载','音乐试...

可淘淘 ⋅ 2011/10/27 ⋅ 0

Android Ant 批量多渠道打包实例

Android Ant 批量多渠道打包实例 关于批量打包,无需多言,这是每个国内Android开发者必须面对的一个问题。 下面,我就以开源项目「知乎小报」为例,详细说明如何使用ANT实现批量打渠道包。 ...

Cundong ⋅ 2014/10/17 ⋅ 7

如何使用正则表达式批量添加和删除字符?

注:由于简书不支持 gif,强烈建议至本篇文章的微信公众号链接如何使用正则表达式批量添加和删除字符查看带动图的步骤演示版。 Foreword 作为一枚 Technical Writer,在使用 Markdown 进行技...

Lilian_Lee ⋅ 2017/11/09 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SAS笔记-宏2

宏是一种文本,一般来说其编译是在程序执行之前。 宏变量的创建 %let语句 %let macro_variables = text; %let是常见的宏变量建立方式,其编译就在执行前。如下例中,想要宏变量test等于数据集...

tonorth123 ⋅ 8分钟前 ⋅ 0

如何使用serverchan微信推送告警

之前实现推送告警信息到微信的方法有如下几种: 1、通过企业公众号实现----收费: 2、通过QQ邮箱,在微信平台上开启收到邮件进行提醒; 3、第三方告警平台API,一般也是收费的; 不过最近看文...

问题终结者 ⋅ 35分钟前 ⋅ 0

TCP的RPC

RPC就是远程方法调用(Remote Process Call ),包含了客户端和服务端,涉及了对象的序列化传输。 1.服务端启动,注册远程调用的类2.客户端发送请求信息包含类、方法、参数的一些信息、序列化传...

Cobbage ⋅ 56分钟前 ⋅ 0

IOS-UI UI初步代码布局添加事件

ISO开发界面,UI是必须学习的一部分,其实很早之前想学来了,一直没有沉下心来学习。看到IOS的代码风格和布局就别扭的不行,跟java代码和android布局比较显得不是那么方便,所以一直到现在。...

京一 ⋅ 今天 ⋅ 0

浅谈OpenDaylight的二次开发

OpenDaylight作为一款开源SDN网络控制器,依托于强大的社区支持以及功能特性,成为了目前主流的SDN网络控制器开发平台。在比较稳定的OpenDaylight Helium版本中,已经为开发者提供了大量的网...

wangxuwei ⋅ 今天 ⋅ 0

API 开发中可选择传递 token 接口遇到的一个坑

在做 API 开发时,不可避免会涉及到登录验证,我使用的是jwt-auth 在登录中会经常遇到一个token过期的问题,在config/jwt.php默认设置中,这个过期时间是一个小时,不过为了安全也可以设置更...

等月人 ⋅ 今天 ⋅ 0

Java NIO之文件处理

程序要操作本地操作系统的一个文件,可以分为以下三个部分: 对文件位置的操作 对文件的操作 对文件内容的操作 其中,对文件内容的操作在 Java NIO之Channel 中已经有了介绍,通过FileChann...

士别三日 ⋅ 今天 ⋅ 0

Maven的pom.xml配置文件详解

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.......

小海bug ⋅ 今天 ⋅ 0

解决httpclient超时设置不生效的问题

最近公司有项目需要通过http调用第三方服务,且第三方服务偶有超时,故需要设置一定的超时时间防止不响应的情况出现。 初始设置如下: [java] view plain copy //超时设置 RequestConfig re...

Mr_Tea伯奕 ⋅ 今天 ⋅ 0

过滤器Filter和拦截器HandlerInterceptor

过滤器 依赖于servlet容器。在实现上基于函数回调,可以对几乎所有请求进行过滤,但是缺点是一个过滤器实例只能在容器初始化时调用一次。使用过滤器的目的是用来做一些过滤操作,获取我们想要...

hutaishi ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部