文档章节

Linux下定时切割Nginx访问日志

是江山
 是江山
发布于 2017/08/18 16:59
字数 852
阅读 13
收藏 0

###前言 一个非常繁忙的站点每天产生的日志量是非常巨大的,当我们需要查看某一天的日志记录时,日志文件过大会导致过滤指定内容非常的缓慢而且不易于查询。此时定时按天切割Nginx的访问日志显得尤为重要。

##说明:

站点1:www.a.com
站点2:www.b.net

Nginx配置文件路径:

/etc/nginx/nginx.conf

站点1配置文件:

/etc/nginx/conf.d/www.a.com.conf

站点2配置文件:

/etc/nginx/conf.d/www.b.net.conf

##目的:

  • 1、对站点1和站点2的nginx访问日志按天保存,日志路径为:
站点1:/data/logs/www.a.com
站点2:/data/logs/www.b.net
  • 2、只保留30天以内的日志记录

##具体操作:

###1、设置Nginx日志记录格式

[root@Bj-1-141 ~]# vim /etc/nginx/nginx.conf
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';
取消日志记录格式前面的注释,在最后一行添加一行,如下所示:
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"'
                '$http_host $upstream_status $upstream_addr $request_time $upstream_response_time'; # 新添加的一行
:wq! # 保存退出

###2、设置虚拟主机配置文件

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.a.com.conf # 编辑,在www.a.com;这一行下面添加
access_log /data/logs/www.a.com/a_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.b.net # 编辑,在www.b.net;这一行下面添加
access_log /data/logs/www.b.net/b_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# nginx -t # 检查配置文件语法
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@Bj-1-141 ~]# systemctl restart nginx.service # 重新加载nginx配置文件

###3、创建Nginx日志切割脚本

[root@Bj-1-141 ~]# mkdir /data/scripts
[root@Bj-1-141 ~]# vim /data/scripts/cut_nginx_log.sh # 编辑
#!/bin/bash
logs_path="/data/logs/"
DAYS=30

mv ${logs_path}www.a.com/a_access.log ${logs_path}www.a.com/a_access_$(date -d "yesterday" +"%Y%m%d").log
mv ${logs_path}www.b.net/b_access.log ${logs_path}www.b.net/b_access_$(date -d "yesterday" +"%Y%m%d").log

kill -USR1 `cat /var/run/nginx.pid`

find ${logs_path}www.a.com/ -name "a_access_*" -type f -mtime +$DAYS -exec rm {} \;
find ${logs_path}www.b.net/ -name "b_access_*" -type f -mtime +$DAYS -exec rm {} \;
:wq! #保存退出

# 添加脚本执行权限
[root@Bj-1-141 ~]# chmod +x /data/scripts/cut_nginx_log.sh

###4、手动执行脚本测试

[root@Bj-1-141 ~]# cd /data/scripts/
[root@Bj-1-141 scripts]# ./cut_nginx_log.sh
[root@Bj-1-141 scripts]# ls /data/logs/www.a.com/
a_access_20170627.log  a_access.log
[root@Bj-1-141 scripts]# ls /data/logs/www.b.net/
b_access_20170627.log  b_access.log

###5、添加任务计划

[root@Bj-1-141 scripts]# crontab -e
# cut nginx log
0 0 * * * /bin/bash /data/scripts/cut_nginx_log.sh &>/dev/nu

每天会在/data/logs/www.a.com和/data/logs/www.b.net目录下生成类似a_access_20170627.log和b_access_20170627.log的日志文件,并且只保留最近30天的日志记录。

至此,Linux下定时切割Nginx访问日志并删除指定天数前的日志记录完成。 ##参数说明:

$remote_addr:客户端地址,192.168.1.2
$remote_user:客户端用户, -
$time_local:时间和时区,[28/Jun/2017:13:29:00 +0800]
$request:请求的URL路径和HTTP协议,"GET /member/userinfo.shtml HTTP/1.1"
$status:HTTP状态,200
$body_bytes_sent:发送给客户端页面大小,0
$http_referer:页面跳转来源,http://www.a.com/
$http_user_agent:用户访问终端,"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
$http_x_forwarded_for:HTTP代理中,请求端真实IP,-
$http_host:用户在浏览器中输入URL(IP或者域名)地址,www.a.com
$upstream_status:upstream状态,200
$upstream_addr:后端upstream地址及端口,192.168.1.142:8080
$request_time:页面访问总时间,0.021
$upstream_response_time:页面访问中upstream响应时间,0.021

本文转载自:http://www.codegreen.cn/archives/0628246.html

共有 人打赏支持
是江山
粉丝 4
博文 44
码字总数 24060
作品 0
苏州
运维
私信 提问
2018-3-14 Linux学习笔记

12.10 Nginx访问日志 Nginx访问日志的格式是在主配置文件中定义的. vim /usr/local/nginx/conf/nginx.conf //搜索logformat 日志字段含义: $remoteaddr 客户端IP(公网IP) $httpxforwardedfo...

XiaoluHuang
06/28
0
0
nginx access_log日志简介

nginx 日志主要有两条指令:1)logformat:用来设置日志格式;2)accesslog:用来指定日志文件的存放路径、格式 log_format 日志格式 1、语法: log_format name(格式名字) 格式样式(即想...

linuxprobe16
09/07
0
0
日志切割操作梳理(Logrotate/python/shell脚本实现)

本文转自:运维中的日志切割操作梳理(Logrotate/python/shell脚本实现) 对于 Linux 系统安全来说,日志文件是极其重要的工具。不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天...

blackfoxya
06/28
0
0
linux复盘:构架搭建lnmp(配置)

nginx虚拟主机 vim /usr/local/nginx/conf/nginx.conf 增加include vhost/*.conf; mkdir /usr/local/nginx/conf/vhost vim /usr/local/nginx/conf/vhost/aaa.com.conf #虚拟主机配置文件 如果......

历经35天的选择
01/23
5
0
nginx(三) : Nginx配置段介绍和日志切割

Nginx配置段 基于域名的虚拟主机示例 server 端配置 注意 server_name a.com;这个a.com不是我们的,所以需要修改windows电脑上的hosts,在其最后面添加一行,其中192.168.8.222 是你nginx配置...

AHUSKY
06/29
0
1

没有更多内容

加载失败,请刷新页面

加载更多

nuc970 uboot nand-boot,kernel, filesystem 烧录位置

一 烧写到Nand Flash **1.1 **相关文件说明 l BSP版本:nuc970bsp-release-20150519.zip l NuWriter版本:2015/04/28-V01,nuvoTon Nu-Writer V1.0 l 烧写文件: u-boot-spl.bin:负责将u-b......

CookieDemo
今天
1
0
python中sort和sorted函数小结

L.sort(cmp=None, key=None, reverse=False) sorted(iterable, cmp=None, key=None, reverse=False) 这样看,sorted函数只比sort函数多一个iterable参数,其余没什么不同,iterable是一个迭代......

上官夏洛特
今天
4
0
thinkphp 常用SQL执行语句总结

第一条:Db::tablera('vr_panomas')->where(['delete_time'=>0,'id'=>['in',$pids]])->field(['id'=>'id','post_thumb'=>'thumb','post_title'=>'title','post_tags'=>'tags','post_price'=>......

koothon
今天
6
0
支付宝返回状态resultStatus意思

上一篇集成支付宝的时候,会有一些支付宝返回的resultStatus,具体意思是: 9000 订单支付成功 8000 正在处理中 4000 订单支付失败 6001 用户中途取消 6002 网络连接出错 还有memo,意思就是...

RainOrz
今天
3
0
electron webview 页面加载事件顺序

1.did-start-loading 页面开始加载 2.load-commit 主页面文档加载 3.page-title-updated title 4.dom-ready 主页面 dom 加载完成 5.load-commit frame文档加载 6.did-frame-finish-load fram......

dubox
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部