文档章节

批量替换目录中的文件内容

sucre
 sucre
发布于 2016/07/11 16:56
字数 224
阅读 28
收藏 0
grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/,/,/g"
grep -rlv 'crc' /var/lib/hadoop-hdfs/20160711/ | xargs sed -i "s/\\$/,/g"

将目录下所有以0开头的文件中的英文逗号替换为中文逗号,再将$替换为英文逗号,注意这里要将.000开头,.crc结尾的文件排除在外,因为这些是校验文件,修改后,再次往hive中导入文件的时候,会出现以下错误

Failed with exception Checksum error: file:/var/lib/hadoop-hdfs/000000_0 at 0 exp: 264275974 got: 1334332137
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.CopyTask

发现一个问题,一旦修改了hive改出文件的分割符再想将修改后的文件导入到hive中的时候,一定会报错,所以要想导入成功,最好方法就是不修改分析后的数据,直接导入到hive中。

© 著作权归作者所有

共有 人打赏支持
sucre
粉丝 32
博文 403
码字总数 211587
作品 0
高级程序员
私信 提问
shell脚本批量替换文件名和文件的内容

方法1: 这两天在做camera bringup的时候,需要添加chromatic文件,由于有需要太多的文件里面的内容进行替换,手工一个个改文件配置有点不太实际,所以google了一下,找到...

PlayWithYou
2017/11/12
0
0
[笔记]将JSP页面的有关URL从JSTL替换为EL风格~

eclipse正则批量替换实验~ 一项目的webapp目录下的所有.jsp文件中的内容从""或者""批量替换成"${ctx}/.../..."!!! 目前使用eclipse的正则查找替换实验出来的正则表达式如下: Find框填入:...

leeoo
2011/12/24
0
0
linux sed 批量替换多个文件中的字符串

linux sed 批量替换多个文件中的字符串 http://blog.csdn.net/kauu/article/details/1757325 分类: linux 2007-08-24 13:02 3900人阅读 评论(4) 收藏 举报 一、linux sed 批量替换多个文件中...

scaredme
2012/04/02
0
1
基于命令的批量修改文件内容

Linux下批量替换多个文件中的字符串的简单方法 :%s/oldstring/newstring/g Linux下批量替换多个文件中的字符串的方法 用sed命令可以批量替换多个文件中的字符串。 sed -i "s/原字符串/新字符...

长平狐
2013/01/06
22
0
基于命令的批量修改文件内容

Linux下批量替换多个文件中的字符串的简单方法 :%s/oldstring/newstring/g Linux下批量替换多个文件中的字符串的方法 用sed命令可以批量替换多个文件中的字符串。 sed -i "s/原字符串/新字符...

晨曦之光
2012/03/02
72
0

没有更多内容

加载失败,请刷新页面

加载更多

idea 删除代码的注释

搜索栏使用 正则表达式搜索 (/\*([^*]|[\r\n]|(\*+([^*/]|[\r\n])))*\*+/|[ \t]*//.*) 会搜索出来所有注释的代码 用空格replace替换掉就可以了。 或者搜索 (/\*([^*]|[\r\n]|(\*+([^*/]|[\r\...

时刻在奔跑
15分钟前
2
0
eclipse maven 项目运行mvn clean 后无法运行

错误: 错误:找不到或无法加载主类com.yyy.test.Main 解决方法: “project” --"Clean" 参考链接:https://jingyan.baidu.com/article/cbcede07107d9802f40b4dff.html...

qimh
20分钟前
1
0
崛起于Springboot2.X之集成工作流Activiti5.22(42)

声明:该博客主要是Springboot1.X和Springboot2.X集成Activiti5.22版本,并说一下两个版本的搭建不同的地方 技术:Springboot2.0.3+mysql+jpa(自动生成25张表)+Activiti5.22 /然后Springboo...

木九天
30分钟前
3
1
windows环境下搭建rabbitMQ开发环境

windows环境下搭建rabbitMQ开发环境 下载与安装 erlang rabbitmq 是使用erlang语言开发的,所以需要erlang环境; 下载地址 rabbitmq 下载地址 rabbitmq与erlang版本关系 下载之后直接安装即可...

晨猫
41分钟前
2
0
JVM 中的守护线程

特点 通常由JVM启动 运行在后台处理任务,比如垃圾回收等 用户启动线程执行结束或者JVM结束时,会等待所有的非守护线程执行结束,但是不会因为守护线程的存在而影响关闭。 判断线程是否为守护...

小刀爱编程
45分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部