Linux下定时切割Nginx访问日志
Linux下定时切割Nginx访问日志
是江山 发表于6个月前
Linux下定时切割Nginx访问日志
  • 发表于 6个月前
  • 阅读 7
  • 收藏 0
  • 点赞 0
  • 评论 0

新睿云服务器60天免费使用,快来体验!>>>   

###前言 一个非常繁忙的站点每天产生的日志量是非常巨大的,当我们需要查看某一天的日志记录时,日志文件过大会导致过滤指定内容非常的缓慢而且不易于查询。此时定时按天切割Nginx的访问日志显得尤为重要。

##说明:

站点1:www.a.com
站点2:www.b.net

Nginx配置文件路径:

/etc/nginx/nginx.conf

站点1配置文件:

/etc/nginx/conf.d/www.a.com.conf

站点2配置文件:

/etc/nginx/conf.d/www.b.net.conf

##目的:

  • 1、对站点1和站点2的nginx访问日志按天保存,日志路径为:
站点1:/data/logs/www.a.com
站点2:/data/logs/www.b.net
  • 2、只保留30天以内的日志记录

##具体操作:

###1、设置Nginx日志记录格式

[root@Bj-1-141 ~]# vim /etc/nginx/nginx.conf
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';
取消日志记录格式前面的注释,在最后一行添加一行,如下所示:
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"'
                '$http_host $upstream_status $upstream_addr $request_time $upstream_response_time'; # 新添加的一行
:wq! # 保存退出

###2、设置虚拟主机配置文件

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.a.com.conf # 编辑,在www.a.com;这一行下面添加
access_log /data/logs/www.a.com/a_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.b.net # 编辑,在www.b.net;这一行下面添加
access_log /data/logs/www.b.net/b_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# nginx -t # 检查配置文件语法
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@Bj-1-141 ~]# systemctl restart nginx.service # 重新加载nginx配置文件

###3、创建Nginx日志切割脚本

[root@Bj-1-141 ~]# mkdir /data/scripts
[root@Bj-1-141 ~]# vim /data/scripts/cut_nginx_log.sh # 编辑
#!/bin/bash
logs_path="/data/logs/"
DAYS=30

mv ${logs_path}www.a.com/a_access.log ${logs_path}www.a.com/a_access_$(date -d "yesterday" +"%Y%m%d").log
mv ${logs_path}www.b.net/b_access.log ${logs_path}www.b.net/b_access_$(date -d "yesterday" +"%Y%m%d").log

kill -USR1 `cat /var/run/nginx.pid`

find ${logs_path}www.a.com/ -name "a_access_*" -type f -mtime +$DAYS -exec rm {} \;
find ${logs_path}www.b.net/ -name "b_access_*" -type f -mtime +$DAYS -exec rm {} \;
:wq! #保存退出

# 添加脚本执行权限
[root@Bj-1-141 ~]# chmod +x /data/scripts/cut_nginx_log.sh

###4、手动执行脚本测试

[root@Bj-1-141 ~]# cd /data/scripts/
[root@Bj-1-141 scripts]# ./cut_nginx_log.sh
[root@Bj-1-141 scripts]# ls /data/logs/www.a.com/
a_access_20170627.log  a_access.log
[root@Bj-1-141 scripts]# ls /data/logs/www.b.net/
b_access_20170627.log  b_access.log

###5、添加任务计划

[root@Bj-1-141 scripts]# crontab -e
# cut nginx log
0 0 * * * /bin/bash /data/scripts/cut_nginx_log.sh &>/dev/nu

每天会在/data/logs/www.a.com和/data/logs/www.b.net目录下生成类似a_access_20170627.log和b_access_20170627.log的日志文件,并且只保留最近30天的日志记录。

至此,Linux下定时切割Nginx访问日志并删除指定天数前的日志记录完成。 ##参数说明:

$remote_addr:客户端地址,192.168.1.2
$remote_user:客户端用户, -
$time_local:时间和时区,[28/Jun/2017:13:29:00 +0800]
$request:请求的URL路径和HTTP协议,"GET /member/userinfo.shtml HTTP/1.1"
$status:HTTP状态,200
$body_bytes_sent:发送给客户端页面大小,0
$http_referer:页面跳转来源,http://www.a.com/
$http_user_agent:用户访问终端,"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
$http_x_forwarded_for:HTTP代理中,请求端真实IP,-
$http_host:用户在浏览器中输入URL(IP或者域名)地址,www.a.com
$upstream_status:upstream状态,200
$upstream_addr:后端upstream地址及端口,192.168.1.142:8080
$request_time:页面访问总时间,0.021
$upstream_response_time:页面访问中upstream响应时间,0.021
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 4
博文 44
码字总数 24060
×
是江山
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: