文档章节

删除 linux <feff>

无崖子Z
 无崖子Z
发布于 2016/01/13 21:32
字数 227
阅读 798
收藏 0

linux下处理windows utf8文件,发现vim头会多一个<feff>

1. linux  vim 中的<feff>

    <feff>被称作BOM(Byte Order Mark)的不可见字符,是Unicode用来标识内部编码的排列方式的,在UTF-16、UTF-32编码里它是必需的,而在UTF-8>里是可选的

      linux下删除<feff>:  grep -I -r -l $'\xEF\xBB\xBF'  file | |xargs sed  -i  's/\xEF\xBB\xBF//'

自己项目中批量删除文件:

#!/bin/sh

filelist=$(ls)
echo "all file"
for file in $filelist
do
        echo $file
    #if [ -d $file ]
    #then
        #tar -cf $file.tar $file
    grep -I -r -l $'\xEF\xBB\xBF'  $file | xargs sed  -i  's/\xEF\xBB\xBF//'
                #echo $file
    #fi
done

2.  linux  vim 中的^M

  在Linux下使用vi来查看一些在Windows下创建的文本文件,有时会发现在行尾有一些“^M

  去掉^M

     1> dos2unix file

     2> sed -i "s=^M==g" file

     3> vim打开时候用 :%s/^M//g


© 著作权归作者所有

无崖子Z
粉丝 4
博文 82
码字总数 23920
作品 0
丰台
私信 提问
Linux 和 Windows 平台不同的 UCS-2 编码

以下是有关两个平台 UCS-2 编码的潜规则: 1, UCS-2 不等于 UTF-16。 UTF-16 每个字节使用 ASCII 字符范围编码,而 UCS-2 对每个字节的编码可以超出 ASCII 字符范围。UCS-2 和 UTF-16 对每个...

澈明
2012/12/28
0
0
▪字节顺序标记(ByteOrderMark)

BOM —— Byte Order Mark,中文名译作“字节顺序标记”。在这里找到一段关于 BOM 的说明: 在UCS 编码中有一个叫做 "Zero Width No-Break Space" ,中文译名作“零宽无间断间隔”的字符,它...

我的去哈哈
2014/02/13
91
0
ThinkPad E40无线网卡驱动安装 FOR CENTOS6.3

1.看一下咱们用的本本的无线是咋子无线网卡,如下: [root@liaohg Downloads]# lspci | grep Wireless 03:00.0 Network controller: Realtek Semiconductor Co., Ltd. RTL8191SEvB Wireless ......

悠悠客
2013/04/22
0
4
Rest接口中碰到的BOM头问题

问题现象 同事开发的一个功能中,需要通过httpclient调用了一个rest接口,然后将返回的json转成java对象,结果发现在解析json时报错,vim中显示如下: 可以看到json串有个,百度之后发现这也...

梦孤
2017/03/03
0
0
PHP输出字节流带上BOM

什么是BOM? 在UCS 编码中有一个叫做”ZERO WIDTH NO-BREAK SPACE”的字符,它的编码是FEFF。而FFFE在UCS中是不存在的字符,所以不应该出现在实际传输中。UCS规范建议我们在传输字节流前,先传...

Kyli
2016/07/25
146
0

没有更多内容

加载失败,请刷新页面

加载更多

Chrome OS 更新新版本可让Linux访问USB连接的Android设备

谷歌再次为Chrome OS带来了重大版本更新,使版本号达到了75。本次更新的一大亮点就是允许在Chrome OS上运行的Linux能够识别通过USB方式连接的Android设备,能够让用户使用Linux进行调试等等。...

linuxCool
昨天
9
0
聊聊feign的HystrixInvocationHandler

序 本文主要研究一下feign的HystrixInvocationHandler HystrixInvocationHandler feign-hystrix-10.2.3-sources.jar!/feign/hystrix/HystrixInvocationHandler.java final class HystrixInvo......

go4it
昨天
12
0
WPS 开启宏功能

前言 最近安装了个人版的WPS2019,使用Excel的宏功能时候发现不能使用了,网上下载了几个安装包都是比较旧的,不能使用。 找了个VB7.1的安装包,安装完了,重启WPS宏功能就可以使用了。 安装...

sharelocked
昨天
2
0
ZStack实践汇 | 高效开发测试打造产品化私有云

作者:许佳珺 前言 随着越来越多的企业将云计算产品应用到基础设施及其核心业务中,如何提高和保证软件交付质量、减少软件开发迭代周期、加速软件发布频率成为所有云厂商面临的关键问题。 根...

ZStack社区版
昨天
3
0
IPv4如何转换为IPv6?

导读 ipv6已经逐渐在应用,现在已经有很多的运营商支持ipv6,前天我们也发布了如何让电脑使用ipv6地址?有很多朋友在问?ipv6有什么作用,它的表示方式是什么,今天我们来一起来详细了解下ipv...

问题终结者
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部