文档章节

Linux下定时切割Nginx访问日志

是江山
 是江山
发布于 2017/08/18 16:59
字数 852
阅读 15
收藏 0

###前言 一个非常繁忙的站点每天产生的日志量是非常巨大的,当我们需要查看某一天的日志记录时,日志文件过大会导致过滤指定内容非常的缓慢而且不易于查询。此时定时按天切割Nginx的访问日志显得尤为重要。

##说明:

站点1:www.a.com
站点2:www.b.net

Nginx配置文件路径:

/etc/nginx/nginx.conf

站点1配置文件:

/etc/nginx/conf.d/www.a.com.conf

站点2配置文件:

/etc/nginx/conf.d/www.b.net.conf

##目的:

  • 1、对站点1和站点2的nginx访问日志按天保存,日志路径为:
站点1:/data/logs/www.a.com
站点2:/data/logs/www.b.net
  • 2、只保留30天以内的日志记录

##具体操作:

###1、设置Nginx日志记录格式

[root@Bj-1-141 ~]# vim /etc/nginx/nginx.conf
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';
取消日志记录格式前面的注释,在最后一行添加一行,如下所示:
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"'
                '$http_host $upstream_status $upstream_addr $request_time $upstream_response_time'; # 新添加的一行
:wq! # 保存退出

###2、设置虚拟主机配置文件

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.a.com.conf # 编辑,在www.a.com;这一行下面添加
access_log /data/logs/www.a.com/a_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.b.net # 编辑,在www.b.net;这一行下面添加
access_log /data/logs/www.b.net/b_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# nginx -t # 检查配置文件语法
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@Bj-1-141 ~]# systemctl restart nginx.service # 重新加载nginx配置文件

###3、创建Nginx日志切割脚本

[root@Bj-1-141 ~]# mkdir /data/scripts
[root@Bj-1-141 ~]# vim /data/scripts/cut_nginx_log.sh # 编辑
#!/bin/bash
logs_path="/data/logs/"
DAYS=30

mv ${logs_path}www.a.com/a_access.log ${logs_path}www.a.com/a_access_$(date -d "yesterday" +"%Y%m%d").log
mv ${logs_path}www.b.net/b_access.log ${logs_path}www.b.net/b_access_$(date -d "yesterday" +"%Y%m%d").log

kill -USR1 `cat /var/run/nginx.pid`

find ${logs_path}www.a.com/ -name "a_access_*" -type f -mtime +$DAYS -exec rm {} \;
find ${logs_path}www.b.net/ -name "b_access_*" -type f -mtime +$DAYS -exec rm {} \;
:wq! #保存退出

# 添加脚本执行权限
[root@Bj-1-141 ~]# chmod +x /data/scripts/cut_nginx_log.sh

###4、手动执行脚本测试

[root@Bj-1-141 ~]# cd /data/scripts/
[root@Bj-1-141 scripts]# ./cut_nginx_log.sh
[root@Bj-1-141 scripts]# ls /data/logs/www.a.com/
a_access_20170627.log  a_access.log
[root@Bj-1-141 scripts]# ls /data/logs/www.b.net/
b_access_20170627.log  b_access.log

###5、添加任务计划

[root@Bj-1-141 scripts]# crontab -e
# cut nginx log
0 0 * * * /bin/bash /data/scripts/cut_nginx_log.sh &>/dev/nu

每天会在/data/logs/www.a.com和/data/logs/www.b.net目录下生成类似a_access_20170627.log和b_access_20170627.log的日志文件,并且只保留最近30天的日志记录。

至此,Linux下定时切割Nginx访问日志并删除指定天数前的日志记录完成。 ##参数说明:

$remote_addr:客户端地址,192.168.1.2
$remote_user:客户端用户, -
$time_local:时间和时区,[28/Jun/2017:13:29:00 +0800]
$request:请求的URL路径和HTTP协议,"GET /member/userinfo.shtml HTTP/1.1"
$status:HTTP状态,200
$body_bytes_sent:发送给客户端页面大小,0
$http_referer:页面跳转来源,http://www.a.com/
$http_user_agent:用户访问终端,"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
$http_x_forwarded_for:HTTP代理中,请求端真实IP,-
$http_host:用户在浏览器中输入URL(IP或者域名)地址,www.a.com
$upstream_status:upstream状态,200
$upstream_addr:后端upstream地址及端口,192.168.1.142:8080
$request_time:页面访问总时间,0.021
$upstream_response_time:页面访问中upstream响应时间,0.021

本文转载自:http://www.codegreen.cn/archives/0628246.html

共有 人打赏支持
是江山
粉丝 4
博文 44
码字总数 24060
作品 0
苏州
运维
私信 提问
2018-3-14 Linux学习笔记

12.10 Nginx访问日志 Nginx访问日志的格式是在主配置文件中定义的. vim /usr/local/nginx/conf/nginx.conf //搜索logformat 日志字段含义: $remoteaddr 客户端IP(公网IP) $httpxforwardedfo...

XiaoluHuang
01/07
0
0
日志切割操作梳理(Logrotate/python/shell脚本实现)

本文转自:运维中的日志切割操作梳理(Logrotate/python/shell脚本实现) 对于 Linux 系统安全来说,日志文件是极其重要的工具。不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天...

blackfoxya
2018/06/28
0
0
linux复盘:构架搭建lnmp(配置)

nginx虚拟主机 vim /usr/local/nginx/conf/nginx.conf 增加include vhost/*.conf; mkdir /usr/local/nginx/conf/vhost vim /usr/local/nginx/conf/vhost/aaa.com.conf #虚拟主机配置文件 如果......

历经35天的选择
2018/01/23
5
0
nginx access_log日志简介

nginx 日志主要有两条指令:1)logformat:用来设置日志格式;2)accesslog:用来指定日志文件的存放路径、格式 log_format 日志格式 1、语法: log_format name(格式名字) 格式样式(即想...

linuxprobe16
2018/09/07
0
0
Nginx系列-4.Nginx日志配置及日志切割

Nginx系列-4.Nginx日志配置及日志切割 目录 - Nginx系列 Nginx系列-1.Linux下安装Nginx Nginx系列-2.配置LNMP(Linux、Nginx、MySQL、PHP)架构 Nginx系列-3.配置Nginx虚拟主机 Nginx系列-4....

ngle
2018/06/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

string类回顾

writeademo
12分钟前
1
0
在DataWorks中实现指定UDF只能被指定账户访问

在DataWorks中实现指定资源被指定账户访问 背景 之前写过一篇文章是关于“DataWorks和MaxCompute内部权限体系的区别”有兴趣的朋友可以点击阅读查看详情。但是还是有些同学会问,我如何在Dat...

阿里云云栖社区
13分钟前
1
0
MaxCompute安全管理指南-案例篇

通过《MaxCompute安全管理-基础篇》了解到MaxCompute和DataWorks的相关安全模型、两个产品安全方面的关联,以及各种安全操作后,本篇主要给出一些安全管理案例,给安全管理的成员作为参考。 ...

阿里云官方博客
17分钟前
1
0
Spring Cloud 中使用Feign解决参数注解无法继承的问题

Spring Cloud 中使用Feign解决参数注解无法继承的问题 在使用Feign的时候,通常先写一个接口类,然后再写实现类,根据官网的例子接下来编写一个简单的Feign的请求例子 @FeignClient("spring...

不学无数的程序员
18分钟前
1
0
springboot kafka读写

依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.1.1.RELEASE</version></dependency> 配置 #=======......

张欢19933
24分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部