文档章节

sed简明教程

whc20011
 whc20011
发布于 2016/10/09 09:37
字数 3662
阅读 18
收藏 3
点赞 0
评论 0
sed

sed 简明教程

awk于1977年出生,今年36岁本命年,sed比awk大2-3岁,awk就像林妹妹,sed就是宝玉哥哥了。所以 林妹妹跳了个Topless,他的哥哥sed坐不住了,也一定要出来抖一抖。

sed全名叫stream editor,流编辑器,用程序的方式来编辑文本,相当的hacker啊。sed基本上就是玩正则模式匹配,所以,玩sed的人,正则表达式一般都比较强。

同样,本篇文章不会说sed的全部东西,你可以参看sed的手册,我这里主要还是想和大家竞争一下那些从手机指缝间或马桶里流走的时间,用这些时间来学习一些东西。当然,接下来的还是要靠大家自己双手。

用s命令替换

我使用下面的这段文本做演示:

1

2

3

4

5

6

7

8

9

$ cat pets.txt

This is my cat

  my cat's name is betty

This is my dog

  my dog's name is frank

This is my fish

  my fish's name is george

This is my goat

  my goat's name is adam

把其中的my字符串替换成Hao Chen’s,下面的语句应该很好理解(s表示替换命令,/my/表示匹配my,/Hao Chen’s/表示把匹配替换成Hao Chen’s,/g 表示一行上的替换所有的匹配):

1

2

3

4

5

6

7

8

9

$ sed "s/my/Hao Chen's/g" pets.txt

This is Hao Chen's cat

  Hao Chen's cat's name is betty

This is Hao Chen's dog

  Hao Chen's dog's name is frank

This is Hao Chen's fish

  Hao Chen's fish's name is george

This is Hao Chen's goat

  Hao Chen's goat's name is adam

注意:如果你要使用单引号,那么你没办法通过\’这样来转义,就有双引号就可以了,在双引号内可以用\”来转义。

 

再注意:上面的sed并没有对文件的内容改变,只是把处理过后的内容输出,如果你要写回文件,你可以使用重定向,如:

1

$ sed "s/my/Hao Chen's/g" pets.txt > hao_pets.txt

或使用 -i 参数直接修改文件内容:

1

$ sed -i "s/my/Hao Chen's/g" pets.txt

在每一行最前面加点东西:

1

2

3

4

5

6

7

8

9

$ sed 's/^/#/g' pets.txt

#This is my cat

#  my cat's name is betty

#This is my dog

#  my dog's name is frank

#This is my fish

#  my fish's name is george

#This is my goat

#  my goat's name is adam

在每一行最后面加点东西:

1

2

3

4

5

6

7

8

9

$ sed 's/$/ --- /g' pets.txt

This is my cat ---

  my cat's name is betty ---

This is my dog ---

  my dog's name is frank ---

This is my fish ---

  my fish's name is george ---

This is my goat ---

  my goat's name is adam ---

顺手介绍一下正则表达式的一些最基本的东西:

  • ^ 表示一行的开头。如:/^#/ 以#开头的匹配。
  • $ 表示一行的结尾。如:/}$/ 以}结尾的匹配。
  • \< 表示词首。 如 \<abc 表示以 abc 为首的詞。
  • \> 表示词尾。 如 abc\> 表示以 abc 結尾的詞。
  • . 表示任何单个字符。
  • * 表示某个字符出现了0次或多次。
  • [ ] 字符集合。 如:[abc]表示匹配a或b或c,还有[a-zA-Z]表示匹配所有的26个字符。如果其中有^表示反,如[^a]表示非a的字符

正规则表达式是一些很牛的事,比如我们要去掉某html中的tags:

html.txt

1

<b>This</b> is what <span style="text-decoration: underline;">I</span> meant. Understand?

看看我们的sed命令

1

2

3

4

5

6

7

8

# 如果你这样搞的话,就会有问题

$ sed 's/<.*>//g' html.txt

 Understand?

 

# 要解决上面的那个问题,就得像下面这样。

# 其中的'[^>]' 指定了除了>的字符重复0次或多次。

$ sed 's/<[^>]*>//g' html.txt

This is what I meant. Understand?

我们再来看看指定需要替换的内容:

1

2

3

4

5

6

7

8

9

$ sed "3s/my/your/g" pets.txt

This is my cat

  my cat's name is betty

This is your dog

  my dog's name is frank

This is my fish

  my fish's name is george

This is my goat

  my goat's name is adam

下面的命令只替换第3到第6行的文本。

1

2

3

4

5

6

7

8

9

$ sed "3,6s/my/your/g" pets.txt

This is my cat

  my cat's name is betty

This is your dog

  your dog's name is frank

This is your fish

  your fish's name is george

This is my goat

  my goat's name is adam

 

1

2

3

4

5

$ cat my.txt

This is my cat, my cat's name is betty

This is my dog, my dog's name is frank

This is my fish, my fish's name is george

This is my goat, my goat's name is adam

只替换每一行的第一个s:

1

2

3

4

5

$ sed 's/s/S/1' my.txt

ThiS is my cat, my cat's name is betty

ThiS is my dog, my dog's name is frank

ThiS is my fish, my fish's name is george

ThiS is my goat, my goat's name is adam

只替换每一行的第二个s:

1

2

3

4

5

$ sed 's/s/S/2' my.txt

This iS my cat, my cat's name is betty

This iS my dog, my dog's name is frank

This iS my fish, my fish's name is george

This iS my goat, my goat's name is adam

只替换第一行的第3个以后的s:

1

2

3

4

5

$ sed 's/s/S/3g' my.txt

This is my cat, my cat'S name iS betty

This is my dog, my dog'S name iS frank

This is my fiSh, my fiSh'S name iS george

This is my goat, my goat'S name iS adam

多个匹配

如果我们需要一次替换多个模式,可参看下面的示例:(第一个模式把第一行到第三行的my替换成your,第二个则把第3行以后的This替换成了That)

1

2

3

4

5

$ sed '1,3s/my/your/g; 3,$s/This/That/g' my.txt

This is your cat, your cat's name is betty

This is your dog, your dog's name is frank

That is your fish, your fish's name is george

That is my goat, my goat's name is adam

上面的命令等价于:(注:下面使用的是sed的-e命令行参数)

1

sed -e '1,3s/my/your/g' -e '3,$s/This/That/g' my.txt

我们可以使用&来当做被匹配的变量,然后可以在基本左右加点东西。如下所示:

1

2

3

4

5

$ sed 's/my/[&]/g' my.txt

This is [my] cat, [my] cat's name is betty

This is [my] dog, [my] dog's name is frank

This is [my] fish, [my] fish's name is george

This is [my] goat, [my] goat's name is adam

圆括号匹配

使用圆括号匹配的示例:(圆括号括起来的正则表达式所匹配的字符串会可以当成变量来使用,sed中使用的是\1,\2…)

1

2

3

4

5

$ sed 's/This is my \([^,]*\),.*is \(.*\)/\1:\2/g' my.txt

cat:betty

dog:frank

fish:george

goat:adam

上面这个例子中的正则表达式有点复杂,解开如下(去掉转义字符):

正则为:This is my ([^,]*),.*is (.*)
匹配为:This is my (cat),……….is (betty)

然后:\1就是cat,\2就是betty

sed的命令

让我们回到最一开始的例子pets.txt,让我们来看几个命令:

N命令

先来看N命令 —— 把下一行的内容纳入当成缓冲区做匹配。

下面的的示例会把原文本中的偶数行纳入奇数行匹配,而s只匹配并替换一次,所以,就成了下面的结果:

1

2

3

4

5

6

7

8

9

$ sed 'N;s/my/your/' pets.txt

This is your cat

  my cat's name is betty

This is your dog

  my dog's name is frank

This is your fish

  my fish's name is george

This is your goat

  my goat's name is adam

也就是说,原来的文件成了:

1

2

3

4

This is my cat\n  my cat's name is betty

This is my dog\n  my dog's name is frank

This is my fish\n  my fish's name is george

This is my goat\n  my goat's name is adam

这样一来,下面的例子你就明白了,

1

2

3

4

5

$ sed 'N;s/\n/,/' pets.txt

This is my cat,  my cat's name is betty

This is my dog,  my dog's name is frank

This is my fish,  my fish's name is george

This is my goat,  my goat's name is adam

a命令和i命令

a命令就是append, i命令就是insert,它们是用来添加行的。如:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

# 其中的1i表明,其要在第1行前插入一行(insert)

$ sed "1 i This is my monkey, my monkey's name is wukong" my.txt

This is my monkey, my monkey's name is wukong

This is my cat, my cat's name is betty

This is my dog, my dog's name is frank

This is my fish, my fish's name is george

This is my goat, my goat's name is adam

 

# 其中的1a表明,其要在最后一行后追加一行(append)

$ sed "$ a This is my monkey, my monkey's name is wukong" my.txt

This is my cat, my cat's name is betty

This is my monkey, my monkey's name is wukong

This is my dog, my dog's name is frank

This is my fish, my fish's name is george

This is my goat, my goat's name is adam

我们可以运用匹配来添加文本:

1

2

3

4

5

6

7

# 注意其中的/fish/a,这意思是匹配到/fish/后就追加一行

$ sed "/fish/a This is my monkey, my monkey's name is wukong" my.txt

This is my cat, my cat's name is betty

This is my dog, my dog's name is frank

This is my fish, my fish's name is george

This is my monkey, my monkey's name is wukong

This is my goat, my goat's name is adam

下面这个例子是对每一行都挺插入:

1

2

3

4

5

6

7

8

9

$ sed "/my/a ----" my.txt

This is my cat, my cat's name is betty

----

This is my dog, my dog's name is frank

----

This is my fish, my fish's name is george

----

This is my goat, my goat's name is adam

----

c命令

c 命令是替换匹配行

1

2

3

4

5

6

7

8

9

10

11

$ sed "2 c This is my monkey, my monkey's name is wukong" my.txt

This is my cat, my cat's name is betty

This is my monkey, my monkey's name is wukong

This is my fish, my fish's name is george

This is my goat, my goat's name is adam

 

$ sed "/fish/c This is my monkey, my monkey's name is wukong" my.txt

This is my cat, my cat's name is betty

This is my dog, my dog's name is frank

This is my monkey, my monkey's name is wukong

This is my goat, my goat's name is adam

d命令

删除匹配行

1

2

3

4

5

6

7

8

9

10

11

12

$ sed '/fish/d' my.txt

This is my cat, my cat's name is betty

This is my dog, my dog's name is frank

This is my goat, my goat's name is adam

 

$ sed '2d' my.txt

This is my cat, my cat's name is betty

This is my fish, my fish's name is george

This is my goat, my goat's name is adam

 

$ sed '2,$d' my.txt

This is my cat, my cat's name is betty

p命令

打印命令

你可以把这个命令当成grep式的命令

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

# 匹配fish并输出,可以看到fish的那一行被打了两遍,

# 这是因为sed处理时会把处理的信息输出

$ sed '/fish/p' my.txt

This is my cat, my cat's name is betty

This is my dog, my dog's name is frank

This is my fish, my fish's name is george

This is my fish, my fish's name is george

This is my goat, my goat's name is adam

 

# 使用n参数就好了

$ sed -n '/fish/p' my.txt

This is my fish, my fish's name is george

 

# 从一个模式到另一个模式

$ sed -n '/dog/,/fish/p' my.txt

This is my dog, my dog's name is frank

This is my fish, my fish's name is george

 

#从第一行打印到匹配fish成功的那一行

$ sed -n '1,/fish/p' my.txt

This is my cat, my cat's name is betty

This is my dog, my dog's name is frank

This is my fish, my fish's name is george

几个知识点

好了,下面我们要介绍四个sed的基本知识点:

Pattern Space

第零个是关于-n参数的,大家也许没看懂,没关系,我们来看一下sed处理文本的伪代码,并了解一下Pattern Space的概念:

1

2

3

4

5

6

7

8

9

10

11

12

foreach line in file {

    //放入把行Pattern_Space

    Pattern_Space <= line;

 

    // 对每个pattern space执行sed命令

    Pattern_Space <= EXEC(sed_cmd, Pattern_Space);

 

    // 如果没有指定 -n 则输出处理后的Pattern_Space

    if (sed option hasn't "-n")  {

       print Pattern_Space

    }

}

Address

第一个是关于address,几乎上述所有的命令都是这样的(注:其中的!表示匹配成功后是否执行命令)

[address[,address]][!]{cmd}

address可以是一个数字,也可以是一个模式,你可以通过逗号要分隔两个address 表示两个address的区间,参执行命令cmd,伪代码如下:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

bool bexec = false

foreach line in file {

    if ( match(address1) ){

        bexec = true;

    }

 

    if ( bexec == true) {

        EXEC(sed_cmd);

    }

 

    if ( match (address2) ) {

        bexec = false;

    }

}

关于address可以使用相对位置,如:

1

2

3

4

5

6

7

8

9

10

# 其中的+3表示后面连续3行

$ sed '/dog/,+3s/^/# /g' pets.txt

This is my cat

  my cat's name is betty

# This is my dog

#   my dog's name is frank

# This is my fish

#   my fish's name is george

This is my goat

  my goat's name is adam

命令打包

第二个是cmd可以是多个,它们可以用分号分开,可以用大括号括起来作为嵌套命令。下面是几个例子:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

$ cat pets.txt

This is my cat

  my cat's name is betty

This is my dog

  my dog's name is frank

This is my fish

  my fish's name is george

This is my goat

  my goat's name is adam

 

# 对3行到第6行,执行命令/This/d

$ sed '3,6 {/This/d}' pets.txt

This is my cat

  my cat's name is betty

  my dog's name is frank

  my fish's name is george

This is my goat

  my goat's name is adam

 

# 对3行到第6行,匹配/This/成功后,再匹配/fish/,成功后执行d命令

$ sed '3,6 {/This/{/fish/d}}' pets.txt

This is my cat

  my cat's name is betty

This is my dog

  my dog's name is frank

  my fish's name is george

This is my goat

  my goat's name is adam

 

# 从第一行到最后一行,如果匹配到This,则删除之;如果前面有空格,则去除空格

$ sed '1,${/This/d;s/^ *//g}' pets.txt

my cat's name is betty

my dog's name is frank

my fish's name is george

my goat's name is adam

Hold Space

第三个我们再来看一下 Hold Space

接下来,我们需要了解一下Hold Space的概念,我们先来看四个命令:

g: 将hold space中的内容拷贝到pattern space中,原来pattern space里的内容清除
G: 将hold space中的内容append到pattern space\n后
h: 将pattern space中的内容拷贝到hold space中,原来的hold space里的内容被清除
H: 将pattern space中的内容append到hold space\n后
x: 交换pattern space和hold space的内容

这些命令有什么用?我们来看两个示例吧,用到的示例文件是:

1

2

3

4

$ cat t.txt

one

two

three

第一个示例:

1

2

3

4

5

6

7

8

9

$ sed 'H;g' t.txt

one

 

one

two

 

one

two

three

是不是有点没看懂,我作个图你就看懂了。

第二个示例,反序了一个文件的行:

1

2

3

4

$ sed '1!G;h;$!d' t.txt

three

two

one

其中的 ‘1!G;h;$!d’ 可拆解为三个命令

  • 1!G —— 只有第一行不执行G命令,将hold space中的内容append回到pattern space
  • h —— 第一行都执行h命令,将pattern space中的内容拷贝到hold space中
  • $!d —— 除了最后一行不执行d命令,其它行都执行d命令,删除当前行

这个执行序列很难理解,做个图如下大家就明白了:

就先说这么多吧,希望对大家有用。

© 著作权归作者所有

共有 人打赏支持
whc20011
粉丝 0
博文 48
码字总数 29707
作品 0
朝阳
程序员
sed工具与正则表达式的使用(shell第四天)

sed工具 【流式编辑器】 —— 非交互,基于模式匹配过滤及修改文本 —— 逐行处理,并将结果输出到屏幕 ——可实现对文本的输出,删除,替换,复制,剪切,导入,导出等各种操作 命令格式: ...

Morning晨丿 ⋅ 04/30 ⋅ 0

mac自带的sed和linux表现不一致, 需要安装gnu-sed

1.本来想把逗号替换成换行,结果不行。 $echo "a,b,c,d" |sed 's/,/n/g' anbncnd 网上查了一下,原来是mac的sed对n的处理和linux不一样, 详见:http://superuser.com/questions/307165/newl...

孟飞阳 ⋅ 06/06 ⋅ 0

9.4/9.5 sed工具(上、下)

9.4-9.5 sed命令 sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用,功能不同凡响。处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern s...

Champin ⋅ 2017/11/21 ⋅ 0

Linux下使用xargs将多行文本转换成一行并用tr实现逗号隔开

准备: cat test.txt134 示例: cat test.txt | xargs1 3 4 可以看出得到的字符串为空格隔开的。 再把上面的字符串用逗号隔开,可以使用tr命令进行空格的替换 cat test.txt | xargs | tr ' ...

easonjim ⋅ 01/20 ⋅ 0

每日一道shell练习(09)——sed处理

1. 习题 对一个文件,1至5行删除带有英文的行,6至10行删除里面的英文字符; 2. 分析 这种要求,用sed命令就可以解决了,主要用到匹配替换的知识。 3. 脚本 前两个要求,必须使用行号匹配。主...

hello_cjq ⋅ 05/29 ⋅ 0

shell中怎么判断输入的是否是数字

在shell中我们经常要面临一个问题就是,怎么判断我交互式的前端,使用者输入的是否是数字呢?这里小编我也就会两种方法,所以今天就在这说一说 第一种:sed格式 首先:我们先(在命令行直接输...

shuai12138 ⋅ 2017/02/24 ⋅ 0

查找目录下的所有文件中是否含有某个字符串 

查找目录下的所有文件中是否含有某个字符串 find .|xargs grep -ri "IBM" 查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名 find .|xargs grep -ri "IBM" -l 1.正则表达式 (1...

wangxuwei ⋅ 05/07 ⋅ 0

克隆服务器网卡eth1 改为 eth0

首先关闭防火墙 关闭selinux 机制 查看设备文件下有没有 删除设备文件下面文件 查看 文件 网卡信息和UUID号 sed -i '/^HWADDR/d' /etc/sysconfig/network-scripts/ifcfg-eth0 ==》删除网卡信...

SuperAuspicious ⋅ 04/24 ⋅ 0

centos7.2用rpm包安装zabbix-3.2.4

centos7.2 安装 zabbix3.2.x 查看系统版本 cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) 查看内核版本 uname -r 3.10.0-327.el7.x86_64 关闭selinux sed -i "s/SELINUX=e......

Allen_Jol ⋅ 04/27 ⋅ 0

awk的基本概念,基础用法和高级用法

awk: 文本处理三剑客:grep系,sed,awk grep系:grep,egrep,fgrep,基于PATTERN进行文本过滤; sed:流编辑器,逐行编辑器;模式空间,保持空间; awk:报告生成器;格式化文档输出;...

狐狸和鳄鱼 ⋅ 04/20 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

解决CentOS6、7,/etc/sysconfig/下没有iptables的问题

一、Centos 6版本解决办法: 1.任意运行一条iptables防火墙规则配置命令: iptables -P OUTPUT ACCEPT 2.对iptables服务进行保存: service iptables save 3.重启iptables服务: service ...

寰宇01 ⋅ 27分钟前 ⋅ 2

数据库备份和恢复

备份:mysqldump -u root -p 数据库>磁盘路径 恢复:mysql -u root -p 数据库<sql脚本的磁盘路径

anlve ⋅ 今天 ⋅ 0

发生了什么?Linus 又发怒了?

在一个 Linux 内核 4.18-rc1 的 Pull Request 中,开发者 Andy Shevchenko 表示其在对设备属性框架进行更新时,移除了 union 别名,这引发了 Linus 的暴怒。 这一次 Linus Torvalds 发怒的原...

问题终结者 ⋅ 今天 ⋅ 0

在树莓派上搭建一个maven仓库

在树莓派上搭建一个maven仓库 20180618 lambo init 项目说明 家里有台树莓派性能太慢。想搭建一个maven私服, 使用nexus或者 jfrog-artifactory 运行的够呛。怎么办呢,手写一个吧.所在这个...

林小宝 ⋅ 今天 ⋅ 0

Spring发展历程总结

转自与 https://www.cnblogs.com/RunForLove/p/4641672.html 目前很多公司的架构,从Struts2迁移到了SpringMVC。你有想过为什么不使用Servlet+JSP来构建Java web项目,而是采用SpringMVC呢?...

onedotdot ⋅ 今天 ⋅ 0

Python模块/包/库安装(6种方法)

Python模块/包/库安装(6种方法) 冰颖机器人 2016-11-29 21:33:26 一、方法1: 单文件模块 直接把文件拷贝到 $python_dir/Lib 二、方法2: 多文件模块,带setup.py 下载模块包(压缩文件zip...

cswangyx ⋅ 今天 ⋅ 0

零基础学习大数据人工智能,学习路线篇!系统规划大数据之路?

大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Python:Python 的排名从去年开始就借助人工智能持续上升,现在它已经...

董黎明 ⋅ 今天 ⋅ 0

openJdk和sun jdk的区别

使用过LINUX的人都应该知道,在大多数LINUX发行版本里,内置或者通过软件源安装JDK的话,都是安装的OpenJDK, 那么到底什么是OpenJDK,它与SUN JDK有什么关系和区别呢? 历史上的原因是,Ope...

jason_kiss ⋅ 今天 ⋅ 0

梳理

Redux 是 JavaScript 状态容器,提供可预测化的状态管理。 它是JS的状态容器,是一种解决问题的方式,所以即可以用于 react 也可以用于 vue。 需要理解其思想及实现方式。 应用中所有的 stat...

分秒 ⋅ 今天 ⋅ 0

Java 后台判断是否为ajax请求

/** * 是否是Ajax请求 * @param request * @return */public static boolean isAjax(ServletRequest request){return "XMLHttpRequest".equalsIgnoreCase(((HttpServletReques......

JavaSon712 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部