文档章节

批量替换目录中的文件内容

sucre
 sucre
发布于 2016/07/11 16:56
字数 224
阅读 28
收藏 0
grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/,/,/g"
grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/\\$/,/g"

将目录下所有以0开头的文件中的英文逗号替换为中文逗号,再将$替换为英文逗号,注意这里要将.000开头,.crc结尾的文件排除在外,因为这些是校验文件,修改后,再次往hive中导入文件的时候,会出现以下错误

Failed with exception Checksum error: file:/var/lib/hadoop-hdfs/000000_0 at 0 exp: 264275974 got: 1334332137
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.CopyTask

发现一个问题,一旦修改了hive改出文件的分割符再想将修改后的文件导入到hive中的时候,一定会报错,所以要想导入成功,最好方法就是不修改分析后的数据,直接导入到hive中。

© 著作权归作者所有

共有 人打赏支持
sucre
粉丝 30
博文 399
码字总数 210455
作品 0
高级程序员
shell脚本批量替换文件名和文件的内容

方法1: 这两天在做camera bringup的时候,需要添加chromatic文件,由于有需要太多的文件里面的内容进行替换,手工一个个改文件配置有点不太实际,所以google了一下,找到...

PlayWithYou
2017/11/12
0
0
[笔记]将JSP页面的有关URL从JSTL替换为EL风格~

eclipse正则批量替换实验~ 一项目的webapp目录下的所有.jsp文件中的内容从""或者""批量替换成"${ctx}/.../..."!!! 目前使用eclipse的正则查找替换实验出来的正则表达式如下: Find框填入:...

leeoo
2011/12/24
0
0
linux sed 批量替换多个文件中的字符串

linux sed 批量替换多个文件中的字符串 http://blog.csdn.net/kauu/article/details/1757325 分类: linux 2007-08-24 13:02 3900人阅读 评论(4) 收藏 举报 一、linux sed 批量替换多个文件中...

scaredme
2012/04/02
0
1
基于命令的批量修改文件内容

Linux下批量替换多个文件中的字符串的简单方法 :%s/oldstring/newstring/g Linux下批量替换多个文件中的字符串的方法 用sed命令可以批量替换多个文件中的字符串。 sed -i "s/原字符串/新字符...

长平狐
2013/01/06
19
0
基于命令的批量修改文件内容

Linux下批量替换多个文件中的字符串的简单方法 :%s/oldstring/newstring/g Linux下批量替换多个文件中的字符串的方法 用sed命令可以批量替换多个文件中的字符串。 sed -i "s/原字符串/新字符...

晨曦之光
2012/03/02
54
0

没有更多内容

加载失败,请刷新页面

加载更多

计算卷积神经网络浮点数运算量

前言 本文主要是介绍了,给定一个卷积神经网络的配置之后,如何大概估算它的浮点数运算量。 相关代码:CalFlops,基于MXNet框架的 Scala 接口实现的一个计算MXNet网络模型运算量的demo。 正文...

Ldpe2G
今天
1
0
Sql语言与MySql数据库

1. 数据库简介 1. 数据库,就是存储数据的仓库,只能通过sql语言来访问,数据库也是一个文件系统。通常,MySQL、Oracle等数据库,也被称为关系型数据库,其保存的不仅仅只是数据,还包括数据...

江左煤郎
今天
1
0
IDEA 取消自动import .*

打开设置 > Editor > Code Style > Java > Scheme Default > Imports ① 将 Class count to use import with "*" 改为 99 (导入同一个包的类超过这个数值自动变为 * ) ② 将 Names count ......

乔老哥
今天
3
0
PostGIS学习笔记(开篇)

PostGIS事实上算是笔者开始写博客的第一篇内容。而事实上那篇博文的内容并不丰富,笔者对PostGIS的了解仍然不多,然而17年在OSGeo课程学习时对PostGIS又有了进一步了解,并逐步发现它的强大。...

胖胖雕
今天
3
0
【Centos】在nginx服务器中配置php和mysql

接上一章《【Centos】利用Vultr服务器和namesilo布网》(https://my.oschina.net/u/3776619/blog/2051986),在Centos中配置好nginx,并在iptables中开启了80端口,和为了远程mysql操作方便开...

yongh701
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部