文档章节

awk

jepacd
 jepacd
发布于 2016/09/13 10:11
字数 2485
阅读 20
收藏 3
点赞 0
评论 0

1- awk是什么

awk是linux环境下的一个命令行工具,但是由于awk强大的能力,我们可以为awk工具传递一个字符串,该字符串的内容类似一种编程语言的语法,我们可以称其为Awk语言,而awk工具本身则可以看作是Awk语言的解析器。就好比python解析器与Python语言的关系。我们一般使用awk来做什么,awk又适合做什么工作呢。由于awk天生提供对文件中文本分列进行处理,所以如果一个文件中的每行都被特定的分隔符(常见的是空格)隔开,我们可以将这个文件看成是由很多列的文本组成,这样的文件最适合用awk进行处理,其实awk在工作中很多时候被用来处理log文件,进行一些统计工作等。

2 - awk命令的一般组成

awk最常用的工作一般是遍历一个文件中的每一行,然后分别对文件的每一行进行处理,一个完整的awk命令形式如下:

awk [options]  'BEGIN{ commands }  pattern{ commands }  END{ commands }' file
  • options: 表示awk的可选的命令行选项, -F -f -v 。-F指定将文件中每一行分隔成列的分隔符

  • 单引号后面的内容就是整个的awk程序脚本,awk需要对文件每一行分割后的每一列做处理

  • file则是awk要处理的文件名称

  • -F: 指定分隔符

  • -f: 调用脚本

  • -v: 定义变量

  • ‘’: 引用代码块

  • BEGIN: 初始化代码块

  • //: 匹配代码块,可以是字符串或正则表达式

  • {}: 命令代码块,包含一条或多条命令

  • : 多条命令使用分号分隔

  • END: 结尾代码块

特殊用法: $0 表示整个当前行 NF 字段数量变量 NR 每行的记录号,多文件记录递增 \t 制表符 \n 换行符 ~ 匹配,与==相比不是精确比较 !~ 不匹配,不精确比较 -F'[:#/]' 定义三个分隔符

awk对每一行进行分割处理
[root@datanode1 ~]# echo -e '1 2 3 4\n 5 6 7 8 9' | awk '{print $3 " " $2 " " $1}'
3 2 1
7 6 5
  1. 将字符串 1 2 3 4 通过管道传递给awk命令,相当于awk处理一个文件,内容就是 1 2 3 4
  2. 上面的命令并没有添加 -F 指定分割符号,实际上默认情况下awk使用空格分割每一行
  3. 如果需要指定别的字符则使用-F显示指定
  4. 上面的命令是将 1 2 3 4 通过空格(不管列之间有多少个空格都将当作一个空格处理)分割成4列
  5. 在awk中有一种通过$数字引用的变量,引用的是当前行中分割的每一列的内容,数字的序号从1开始。例如$1表示第1列的内容,$2表示第二列,以此类推。$0 表示当前整行的内容。
  6. print是awk的内置函数,用于打印出变量的值。 而我们在$3 $2 $1 之间添加了用双引号引起来的空格,如果没有,则这些变量的值打印出来会连在一起。
  7. 这里的awk命令中{}里面的内容实际上是我们上面完整模式的中间部分,我们省略了上面的BEGIN块,END块,并且中间的程序块我们也省略掉了pattern部分,也就是如果不添加BEGIN或者END说明那么该程序块就是上面完整模式中的中间的那个程序块,该中间的程序块所执行的操作就是循环处理文件内容的每一行,如果文件有10行,那么中间的程序块要运行10次,每一次处理一行的内容,并且处理完当前行之后,下次循环会自动依次处理接下来的行内容。

3 - 使用pattern部分

[root@datanode1 ~]# echo -e '1 2 3 4\n 5 6 7 8 9' | awk '$1 > 2{print $3 " " $2 " " $1}'
7 6 5

$1 > 2{print $3 " " $2 " " $1} => pattern{ commands }

  • $1 > 2: 第一行大于2, 否则不处理这一行
  • pattern部分用来从文件中筛选出需要处理的行进行处理,如果没有则循环处理文件中的所有行

pattern部分可以是任何条件表达式的判断结果,例如>,<,==,>=,<=,!= 同时还可以使用+,-,*,/运算与条件表达式相结合的复合表达式,逻辑 &&,||,! 同样也可以使用进来。另外pattern部分还可以使用 /正则/ 选择需要处理的行。

4 - BEGIN语句块

BEGIN语句块是在匹配文件第一行之前运行的语句块。由于是匹配第一行之前运行,实际上在BEGIN语句块中 $n 是不可用的。一般情况下可以在BEGIN语句块中做一些变量(awk中可以自定义变量,直接为一个变量赋值就定义了一个变量,awk中没有专门定义变量的关键字)初始化的工作,以及一些只需要在开始仅打印一次的输出信息(例如输出表的表头)

[root@datanode1 ~]# echo -e 'words in file\nthe second line' | awk 'BEGIN{print "this is begin"; print ""} {print $1 " " $2 " " $3 " "}'
this is begin

words in file 
the second line 
  1. BEGIN必须为大写
  2. BEGIN中多个语句块用;分隔
  3. 如果需要单独打印空行,需要使用 print ""

5 - END语句块

END语句块是在awk循环执行完所有行的处理之后才执行的,与BEGIN一样,END语句块也只执行一次,我们看看完整的例子。

[root@datanode1 ~]# echo -e 'words in file\n the second line' | awk 'BEGIN{print "this is begin"; print ""} {print $1 " " $2 " " $3 " "} END{print "end"}'
this is begin

words in file 
the second line 
end

小例子,计算和:

[root@datanode1 ~]# echo -e "11 22 33\n44 55 66\n77 88 99" > test.log
[root@datanode1 ~]# cat test.log 
11 22 33
44 55 66
77 88 99
[root@datanode1 ~]# awk 'BEGIN{sum=0} {sum+=$1} END{print sum}' test.log 
132

6 - awk内置函数

awk定义了很多内置函数,下面我们根据函数类型列出常用的函数,下面的函数只是一部分,完整的函数列表则需要查阅awk的官方文档

6.1 - 算术:

  1. atan2(y,x) 返回 y/x 的反正切
  2. cos(x) 返回 x 的余弦;x 是弧度
  3. sin(x) 返回 x 的正弦;x 是弧度
  4. exp(x) 返回 x 幂函数
  5. log(x) 返回 x 的自然对数
  6. sqrt(x) 返回 x 平方根
  7. int(x) 返回 x 的截断至整数的值
  8. rand() 返回任意数字 n,其中 0 <= n < 1
  9. srand([expr]) 将 rand 函数的种子值设置为 Expr 参数的值,或如果省略 Expr 参数则使用某天的时间。返回先前的种子值

6.2 - 字符串

  1. gsub(reg,str1,str2) 使用str1替换所有str2中符合正则表达式reg的子串
  2. sub(reg,str1,str2) 含义与gsub相同,只不过gsub是替换所有匹配,sub只替换第一个匹配
  3. index(str,substr) 返回substr在str中第一次出现的索引,注意索引从1开始计算,如果没有则返回0
  4. length(str) 返回str字符串的长度,length函数还可以返回数组元素的个数
  5. blength(str) 返回字符串的字节数
  6. match(str,reg) 与index函数一样,只不过reg使用正则表达式,例如match("hello",/lo/)
  7. split(str,array,reg)将str分隔成数组保存到array中,分隔使用正则reg,或者字符串都可以,返回数组长度
  8. tolower(str) 转换为小写
  9. toupper(str) 转换为大写
  10. substr(str,start,length) 截取字符串,从start索引开始的length个字符,如不指定length则截取到末尾,索引从1开始

6.3 - 其他:

  1. system(command) 执行系统命令,返回退出码
  2. mktime( YYYY MM dd HH MM ss[ DST]) 生成时间格式
  3. strftime(format,timestamp) 格式化时间输出,将时间戳转换为时间字符串
  4. systime() 得到时间戳,返回从1970年1月1日开始到当前时间(不计闰年)的整秒数

6.4 - awk的内置变量

awk中同样定义了很多内置变量,我们可以直接像使用普通变量一样使用他们,由于awk的版本众多,有些内置变量并不是得到所有awk版本的支持。

说明:[A][N][P][G]表示支持该变量的工具,[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk

  1. $n 当前记录的第n个字段,比如n为1表示第一个字段,n为2表示第二个字段
  2. $0 这个变量包含执行过程中当前行的文本内容
  3. [N] ARGC 命令行参数的数目
  4. [G] ARGIND 命令行中当前文件的位置(从0开始算)
  5. [N] ARGV 包含命令行参数的数组
  6. [G] CONVFMT 数字转换格式(默认值为%.6g)
  7. [P] ENVIRON 环境变量关联数组
  8. [N] ERRNO 最后一个系统错误的描述
  9. [G] FIELDWIDTHS 字段宽度列表(用空格键分隔)
  10. [A] FILENAME 当前输入文件的名
  11. [P] FNR 同NR,但相对于当前文件
  12. [A] FS 字段分隔符(默认是任何空格)
  13. [G] IGNORECASE 如果为真,则进行忽略大小写的匹配
  14. [A] NF 表示字段数,在执行过程中对应于当前的字段数
  15. [A] NR 表示记录数,在执行过程中对应于当前的行号
  16. [A] OFMT 数字的输出格式(默认值是%.6g)
  17. [A] OFS 输出字段分隔符(默认值是一个空格)
  18. [A] ORS 输出记录分隔符(默认值是一个换行符)
  19. [A] RS 记录分隔符(默认是一个换行符)
  20. [N] RSTART 由match函数所匹配的字符串的第一个位置
  21. [N] RLENGTH 由match函数所匹配的字符串的长度
  22. [N] SUBSEP 数组下标分隔符(默认值是34)

awk官方文档: https://www.gnu.org/software/gawk/manual/gawk.html

© 著作权归作者所有

共有 人打赏支持
jepacd
粉丝 5
博文 30
码字总数 210248
作品 0
朝阳
程序员

暂无相关文章

Centos7重置Mysql 8.0.1 root 密码

问题产生背景: 安装完 最新版的 mysql8.0.1后忘记了密码,向重置root密码;找了网上好多资料都不尽相同,根据自己的问题总结如下: 第一步:修改配置文件免密码登录mysql vim /etc/my.cnf 1...

豆花饭烧土豆 ⋅ 55分钟前 ⋅ 0

熊掌号收录比例对于网站原创数据排名的影响[图]

从去年下半年开始,我在写博客了,因为我觉得业余写写博客也还是很不错的,但是从2017年下半年开始,百度已经推出了原创保护功能和熊掌号平台,为此,我也提交了不少以前的老数据,而这些历史...

原创小博客 ⋅ 今天 ⋅ 0

LVM讲解、磁盘故障小案例

LVM LVM就是动态卷管理,可以将多个硬盘和硬盘分区做成一个逻辑卷,并把这个逻辑卷作为一个整体来统一管理,动态对分区进行扩缩空间大小,安全快捷方便管理。 1.新建分区,更改类型为8e 即L...

蛋黄Yolks ⋅ 今天 ⋅ 0

Hadoop Yarn调度器的选择和使用

一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。 上图是Yarn的基本架构,其中ResourceManager是整个架构的核心组件,它负...

p柯西 ⋅ 今天 ⋅ 0

uWSGI + Django @ Ubuntu

创建 Django App Project 创建后, 可以看到路径下有一个wsgi.py的问题 uWSGI运行 直接命令行运行 利用如下命令, 可直接访问 uwsgi --http :8080 --wsgi-file dj/wsgi.py 配置文件 & 运行 [u...

袁祾 ⋅ 今天 ⋅ 0

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

不羁之后 ⋅ 昨天 ⋅ 0

推荐:并发情况下:Java HashMap 形成死循环的原因

在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障,并且这个事发生了很多次,原因是在Java语言在并发情况下使用HashMap造成Race Condition,从而导致死循环。这个事情我4、5年前也经历...

码代码的小司机 ⋅ 昨天 ⋅ 2

聊聊spring cloud gateway的RetryGatewayFilter

序 本文主要研究一下spring cloud gateway的RetryGatewayFilter GatewayAutoConfiguration spring-cloud-gateway-core-2.0.0.RC2-sources.jar!/org/springframework/cloud/gateway/config/G......

go4it ⋅ 昨天 ⋅ 0

创建新用户和授予MySQL中的权限教程

导读 MySQL是一个开源数据库管理软件,可帮助用户存储,组织和以后检索数据。 它有多种选项来授予特定用户在表和数据库中的细微的权限 - 本教程将简要介绍一些选项。 如何创建新用户 在MySQL...

问题终结者 ⋅ 昨天 ⋅ 0

android -------- 颜色的半透明效果配置

最近有朋友问我 Android 背景颜色的半透明效果配置,我网上看资料,总结了一下, 开发中也是常常遇到的,所以来写篇博客 常用的颜色值格式有: RGB ARGB RRGGBB AARRGGBB 这4种 透明度 透明度...

切切歆语 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部