文档章节

nginx日志分析——用sed彩色标记特定内容

超爱fitnesse
 超爱fitnesse
发布于 2015/03/22 21:10
字数 579
阅读 2680
收藏 117

实时过滤日志

只显示nginx访问日志中返回500状态码的日志行:

tail -f access_log.log | grep 500 --color

在此输入图片描述

注意: tail -f 之后,只能使用管道一次,如下命令将无任何输出

tail -f access_log.log | grep 500 | grep 500

用颜色标记日志中的特定内容

比如,nginx日志格式为:

 log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                         '$status $body_bytes_sent "$http_referer" '
                         '"$http_user_agent" "$http_x_forwarded_for"';

日志内容为:

192.168.1.181 - - [13/Apr/2011:15:19:10 +0800] "GET /tomcat.png HTTP/1.1" 304 0 "http://192.168.1.9/" "Mozilla/5.0 (Windows NT 6.1; rv:2.0) Gecko/20100101 Firefox/4.0" "-"
192.168.1.181 - - [13/Apr/2011:15:19:10 +0800] "GET /favicon.ico HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 6.1; rv:2.0) Gecko/20100101 Firefox/4.0" "-"
192.168.1.181 - - [13/Apr/2011:15:19:10 +0800] "GET /bg-nav.png HTTP/1.1" 304 0 "http://192.168.1.9/tomcat.css" "Mozilla/5.0 (Windows NT 6.1; rv:2.0) Gecko/20100101 Firefox/4.0" "-"
192.168.1.181 - - [13/Apr/2011:15:19:10 +0800] "GET /bg-upper.png HTTP/1.1" 304 0 "http://192.168.1.9/tomcat.css" "Mozilla/5.0 (Windows NT 6.1; rv:2.0) Gecko/20100101 Firefox/4.0" "-"
192.168.1.181 - - [13/Apr/2011:15:19:10 +0800] "GET /bg-middle.png HTTP/1.1" 304 0 "http://192.168.1.9/tomcat.css" "Mozilla/5.0 (Windows NT 6.1; rv:2.0) Gecko/20100101 Firefox/4.0" "-"
192.168.1.181 - - [13/Apr/2011:15:19:10 +0800] "GET /bg-button.png HTTP/1.1" 304 0 "http://192.168.1.9/tomcat.css" "Mozilla/5.0 (Windows NT 6.1; rv:2.0) Gecko/20100101 Firefox/4.0" "-"
192.168.1.114 - - [13/Apr/2011:15:19:37 +0800] "GET / HTTP/1.0" 200 12220 "-" "-" "-"
192.168.1.114 - - [13/Apr/2011:15:20:22 +0800] "GET / HTTP/1.0" 200 12220 "-" "-" "-"

需求:标出返回状态码非200的请求

如果用grep只能用过滤方式,如下命令:

grep -v "200" access_log.log

用sed可以用颜色标出非200的状态码:

为了拼出sed的正确正则表达式,我们先从标记200为绿色开始

sed 's/200/\x1b[32m&\x1b[0m/g' access_log.log

在此输入图片描述

说明:echo打印彩色字符时,使用八进制符号\033,但是在sed中不支持八进制,必须使用16进制:\x1b

下一步,把状态码3XX标为黄色:

sed 's/3[0-9][0-9]/\x1b[33m&\x1b[0m/g' access_log.log

但请注意,nginx日志行中其他地方也有数字,上面的匹配不够精确

下一步,把HTTP/1.0" 或者 HTTP/1.1"之后的3位数标记颜色:

sed 's/\(HTTP\/1\.[01]" \)\(3[0-9][0-9]\)/\1\x1b[33m\2\x1b[0m/g' access_log.log

在此输入图片描述

再下一步,如果状态码之后的返回数据量大于1K,就标记红色:

sed 's/\(HTTP\/1\.[01]" [0-9][0-9][0-9] \)\([0-9]\+\)[0-9][0-9][0-9]/\1\x1b[31m[\2KB]\x1b[0m/g' access_log.log

在此输入图片描述

© 著作权归作者所有

超爱fitnesse
粉丝 28
博文 33
码字总数 44160
作品 0
浦东
QA/测试工程师
私信 提问
加载中

评论(13)

Feng_Yu
Feng_Yu
分析web access还是piwik不错http://www.oschina.net/p/piwik
支持log追踪和js追踪
超爱fitnesse
超爱fitnesse 博主

引用来自“主编”的评论

淡淡的忧伤,为毛不直接用日志分析工具
推荐一个你在用的日志分析工具
主编
主编
淡淡的忧伤,为毛不直接用日志分析工具
超爱fitnesse
超爱fitnesse 博主

引用来自“kideny”的评论

晕死,直接写个脚本,然后把要查找的状态码提取出来,生成另外一个文件岂不是更好?
sed 's/3[0-9][0-9]/\x1b[33m&\x1b[0m/g' access_log.log > access_log.colored; cat access_log.colored
超爱fitnesse
超爱fitnesse 博主

引用来自“kideny”的评论

晕死,直接写个脚本,然后把要查找的状态码提取出来,生成另外一个文件岂不是更好?
你说的这个吗? --- sed 's/3[0-9][0-9]/\x1b[33m&\x1b[0m/g' access_log.log > access_log.colored cat access_log.colored ---
超爱fitnesse
超爱fitnesse 博主
我抛一块砖,然后一下汇集了很多同行,哈哈!
欢迎多多探讨。
mickelfeng
mickelfeng
哈哈
笨蛋0007
笨蛋0007
nice
卖爷爷的老红薯
卖爷爷的老红薯
还可以在windows下 ftp日志文件,然后用notepad++这样的编辑器 CTRL+F。。。
卖爷爷的老红薯
卖爷爷的老红薯
晕死,直接写个脚本,然后把要查找的状态码提取出来,生成另外一个文件岂不是更好?
linux sed 命令单行任务快速参考

文本间隔: ——– # 在每一行后面增加一空行 sed G # 将原来的所有空行删除并在每一行后面增加一空行。 # 这样在输出的文本中每一行后面将有且只有一空行。 sed ‘/^$/d;G’ # 在每一行后面...

程序师
2018/07/30
0
0
grep、sed、awk的使用笔记

学习grep、sed、awk之前,肯定是要先了解正则表达式。 学习之前,我们要先建立两个文件来练习。 vim a.txt cp /etc/passwd passwd 第一章 grep和正则表达式 一、 正则表达式 1、单个字符 特定...

D杀手D
2018/07/20
0
0
【Linux】sed命令用法详解

http://witmax.cn/linux-sed-usage.html http://www.linuxsir.org/bbs/showthread.php?t=189620 Sed学习笔记 1. sed简介 sed 是一种在线编辑器,它一次处理一行内容。处理时,把当前处理的行...

AlphaJay
2011/11/10
321
0
使用sed在文件中定位文本的方式

sed是实现对流的编辑。通常,我们使用sed可以实现内容的编辑后然后保存成另外的一个文件,如果正确的话,才写入到源文件。但是某些时候,我们需要直接修改文件,因为,保存文件到一个文件,然...

AlphaJay
2012/03/05
3.6K
0
shell -sed查找和替换文件中的内容

sed查找和替换文件中的内容 sed -i 's/text/replace/' file 指定位置替换内容 echo thisthisthisthis sed 's/this/THIS/3' 移除文件中的空白行 ^$ sed '/^$/d' file 子串匹配标记(1) echo......

writeademo
2018/09/30
172
0

没有更多内容

加载失败,请刷新页面

加载更多

【0918】正则介绍_grep

【0918】正则介绍_grep 9.1 正则介绍_grep上 9.2 grep中 9.3 grep下 一、正则介绍 正则是一串有规律的字符串,它使用单个字符串来描述或匹配一系列符合某个语法规则的字符串。 二、grep工具 ...

飞翔的竹蜻蜓
26分钟前
4
0
为什么要在网站中应用CDN加速?

1. 网页加载速度更快 在网站中使用CDN技术最直接的一个好处就是它可以加快网页的加载速度。首先,CDN加速的内容分发是基于服务器缓存的,由于CDN中缓存了不少数据,它能够给用户提供更快的页...

云漫网络Ruan
今天
8
0
亚玛芬体育(Amer Sports)和信必优正式启动合作开发Movesense创新

亚玛芬体育和信必优正式启动合作开发Movesense创新,作为亚玛芬体育的完美技术搭档,信必优利用Movesense传感器技术为第三方开发移动应用和服务。 Movesense基于传感器技术和开放的API,测量...

symbiochina88
今天
4
0
创龙TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA核心板规格书

SOM-TL437xF是一款广州创龙基于TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA芯片设计的核心板,采用沉金无铅工艺的10层板设计,适用于高速数据采集和处理系统、汽车导航、工业自动化等领...

Tronlong创龙
今天
5
0
好程序员Java学习路线分享MyBatis之线程优化

  好程序员Java学习路线分享MyBatis之线程优化,我们的项目存在大量用户同时访问的情况,那么就会出现大量线程并发访问数据库,这样会带来线程同步问题,本章我们将讨论MyBatis的线程同步问...

好程序员官方
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部