文档章节

使用mmnormalize解析nginx-error日志

MrYx3en
 MrYx3en
发布于 2015/11/04 14:43
字数 539
阅读 129
收藏 0

liblognorma:   Welcome to Liblognorm!

nginxerr.rulebase :

$ [root@10.10.10.254 test]# cat nginxerr.rulebase 
rule=A: %date:char-to:\x20% %time:time-24hr% [%level:char-to:\x5D%] %f1:char-to::%: %f2:char-to:\x20% %errmsg:char-to:,%, client: %client:ipv4%, server: %server:rest%"

#B和C不能同时存在一个rulebase文件中,否则会导致误解析。
rule=B: %date:char-to:\x20% %time:time-24hr% [%level:char-to:\x5D%] %f1:char-to::%: %f2:char-to:\x20% %errmsg:char-to:,%, client: %client:ipv4%, server: %server:char-to:,%, request: "%verb:word% %urlpath:char-to:\x3F%?%urlparam:char-to:\x20% HTTP/%httpversion:char-to:\x22%", upstream: %upstream:char-to:,%, host: %host:rest%

rule=C: %date:char-to:\x20% %time:time-24hr% [%level:char-to:\x5D%] %f1:char-to::%: %f2:char-to:\x20% %errmsg:char-to:,%, client: %client:ipv4%, server: %server:char-to:,%, request: "%verb:word% %urlpath:char-to:\x20% HTTP/%httpversion:char-to:\x22%", upstream: %upstream:char-to:\x2C%, host: %host:rest%

rule=D: %date:char-to:\x20% %time:time-24hr% [%level:char-to:\x5D%] %f1:char-to::%: %f2:char-to:\x20% %errmsg:char-to:,%, client: %client:ipv4%, server: %server:char-to:,%, request: "%verb:word% %urlpath:char-to:\x3F%?%urlparam:char-to:\x20% HTTP/%httpversion:char-to:\x22%", host: %host:rest%

rule=F: %errmsg:rest%

\\

liblognormalizer命令解析:

$ lognormalizer -r nginxerr.rulebase -e json -T < test0.log > normalized.log

\\

解析后的格式(Json):

$ [root@10.10.10.254 test]# head -n 3 normalized.log 
{ "host": "\"api.weibo.cn\"", "httpversion": "1.1", "urlparam": "gsid=_2A257MJvbDeTxGeRG4loS9yrEzj-IHXVWZ6gTrDV6PUJbrdANLWT1kWpTgI6SCDQQPwBgknJMn2cCApowHA..&wm=3333_2001&i=9130105&b=1&from=1055093010&c=iphone&v_p=24&skin=default&v_f=1&s=3c44f071&lang=zh_CN&ua=iPhone8,1__weibo__5.5.0__iphone__os9.0&sflag=1", "urlpath": "\/2\/client\/addlog_batch", "verb": "POST", "server": "api.v5.weibo.cn", "client": "118.189.6.88", "errmsg": "client intended to send too large body: 9742073 bytes", "f2": "*48466998", "f1": "21852#0", "level": "error", "time": "19:45:10", "date": "2015\/11\/01", "event.tags": [ "D" ] }
{ "host": "\"api.weibo.cn\"", "httpversion": "1.1", "urlparam": "gsid=_2A257MZL9DeTxGeRP41MZ8i3MzzuIHXVWZqE1rDV6PENPuNIMGlKVlGgHwPxa1DkwlDmCgLaR9Sntltky&wm=3333_2001&i=1db5f43&b=0&from=1055093010&c=iphone&v_p=24&skin=default&v_f=1&s=2e61a91e&lang=en_US&ua=iPhone7,2__weibo__5.5.0__iphone__os9.1&sflag=1", "urlpath": "\/2\/client\/addlog_batch", "verb": "POST", "server": "api.v5.weibo.cn", "client": "124.213.122.214", "errmsg": "client intended to send too large body: 35119444 bytes", "f2": "*48594758", "f1": "41204#0", "level": "error", "time": "19:50:03", "date": "2015\/11\/01", "event.tags": [ "D" ] }
{ "host": "\"api.weibo.cn\"", "httpversion": "1.1", "urlparam": "gsid=_2A257MKPHDeTxGeRI7VsY9ijIyDmIHXVWZ7APrDV6PUJbrdAKLW_FkWp8DjDOdVlsqU29TOw80hZnkvFfwA..&wm=3333_2001&i=5bb2307&b=1&from=1054093010&c=iphone&v_p=22&skin=default&v_f=1&s=0af1f487&lang=en_US&ua=iPhone7,2__weibo__5.4.0__iphone__os9.1&sflag=1", "urlpath": "\/2\/client\/addlog_batch", "verb": "POST", "server": "api.v5.weibo.cn", "client": "125.34.2.67", "errmsg": "client intended to send too large body: 19501344 bytes", "f2": "*48323317", "f1": "839#0", "level": "error", "time": "19:52:43", "date": "2015\/11\/01", "event.tags": [ "D" ] }

rsyslog配置文件:

$ [root@10.10.10.254 test]# cat nginx-error.conf 
template(name="nginxerrorTemplate" type="list")
{
    constant(value="{\"@timestamp\":\"")    property(name="timereported" dateFormat="rfc3339")
    constant(value="\","\"fromhost\":\"")   property(name="hostname")
    constant(value="\","\"programname\":\"")    property(name="programname")
    constant(value="\",")    property(name="msg" position.from="2")
}
ruleset(name="forwardRulesetlocal7nginxerror")
{
    action(
        type="mmnormalize"
        ruleBase="nginx-error-1.rulebase"
    )
    action(
        type="omfile"
        file=""
        template="nginxerrorTemplate"
    )
}
#request中不包含urlparam
ruleset(name="forwardRulesetlocal7nginxerror-nourlparam")
{
    action(
        type="mmnormalize"
        ruleBase="nginx-error-1.rulebase"
    )
    action(
        type="omfile"
        file=""
        template="nginxerrorTemplate"
    )
}
if ($syslogfacility-text == "local6" and $programname == "nginx-error") then
{
    if ($msg contains ["?"]) then
    {
        call forwardRulesetlocal7nginxerror
    } else {
        call forwardRulesetlocal7nginxerror-nourlparam
    }
}


© 著作权归作者所有

共有 人打赏支持
MrYx3en
粉丝 9
博文 131
码字总数 30542
作品 0
宝鸡
系统管理员
私信 提问
使用goaccess解析nginx日志

由于我指定了安装路径为/usr/local/goaccess 因此运行主程序在该路径的bin目录下,配置文件在etc下 使用方法: 直接解析 在nginx日志目录下运行 /usr/local/goaccess/bin/goaccess -f access...

erichd
2016/08/12
350
0
Filebeat收集json格式的nginx日志传给logstash

本文转自:http://blog.joylau.cn/2018/05/08/Filebeat-Nginx/ Filebeat 版本为 5.3.0 之所以使用 beats 家族的 Filebeat 来替代 Logstash 是因为 Logstash 实在太消耗资源了(服务器资源充足...

蓝叶子Sheep
08/22
0
0
nginx配置+虚拟主机+负载均衡+反向代理

nginx启动+控制+配置文件 /usr/local/nginx/nginx #启动 /usr/local/nginx/nginx -s reload #重新加载配置文件,不需重启nginx进程 nginx.conf配置文件详解 nginx的配置文件相比apache,比较...

jalyzjs
2017/09/04
0
0
rsyslog 8.6.0 (v8-stable) 发布

Rsyslog 是一个 syslogd 的多线程增强版。 rsyslog 8.6.0 (v8-stable) 发布,此版本是新发布版本周期的第一个稳定版本。 新版本周期和新模式详情请看这里: http://www.rsyslog.com/rsyslog...

oschina
2014/12/03
501
0
Nginx网站服务

Nginx网站服务 Nginx专为性能优化而开发,优点是它的稳定性和低系统资源消耗,以及对HTTP并发连接的高处理能力(单台服务器可支持30000 – 50000个并发请求 ) Nginx和Apache的区别 Nginx:只...

常亚亚
2017/05/31
0
0

没有更多内容

加载失败,请刷新页面

加载更多

关于ElasticSearch的使用过程遇到的问题

由于作者从官网下载了ES5.6.10的安装包,解压之后就开始运行ES,前面一切正常。 后面某个查询条件失效。 解决: 1.先试了把单个查询条件撤离出来,当成一个Test来跑,发现还是获取不到值,表...

DoLo-lty
8分钟前
0
0
sed 替换文本内得路径字符等等

1. 句子 sed -i 's%/opt/apache-maven-3.5.3/conf/settings.xml%/data/opt/apache-maven-3.5.3/conf/settings.xml%g' ./*/config.xml 2. 解释 sed linux 一个文件流式处理的工具 2.1 -i 在当......

Aruforce
9分钟前
0
0
mysql_索引

索引类型 哈希表 有序数组 搜索树 MySQL索引 B-树 B+树 innodb的索引 索引维护 关于自增主键的使用 参考 极客时间《mysql实战45讲》

grace_233
9分钟前
0
0
“入乡随俗,服务为主” 发明者量化兼容麦语言啦!

5年时光 我们裹挟前行。发明者量化从筚路蓝缕到步履蹒跚,从以“区块链资产交易”为阵地,再到以“内外盘商品期货”为依托。再到今天全面兼容“麦语言”。每一步,我们始终都在为建立一个优秀...

酒逢知己千杯少
10分钟前
0
0
session深入探讨

简介 session,会话,其实是一个容易让人误解的词。它总跟web系统的会话挂钩,利用session,javaweb项目实现了登录状态的控制。坊间流传,关闭浏览器,就是关闭了web系统的会话。其实浏览器对...

千里明月
12分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部