文档章节

Linux下定时切割Nginx访问日志

是江山
 是江山
发布于 2017/08/18 16:59
字数 852
阅读 11
收藏 0
点赞 0
评论 0

###前言 一个非常繁忙的站点每天产生的日志量是非常巨大的,当我们需要查看某一天的日志记录时,日志文件过大会导致过滤指定内容非常的缓慢而且不易于查询。此时定时按天切割Nginx的访问日志显得尤为重要。

##说明:

站点1:www.a.com
站点2:www.b.net

Nginx配置文件路径:

/etc/nginx/nginx.conf

站点1配置文件:

/etc/nginx/conf.d/www.a.com.conf

站点2配置文件:

/etc/nginx/conf.d/www.b.net.conf

##目的:

  • 1、对站点1和站点2的nginx访问日志按天保存,日志路径为:
站点1:/data/logs/www.a.com
站点2:/data/logs/www.b.net
  • 2、只保留30天以内的日志记录

##具体操作:

###1、设置Nginx日志记录格式

[root@Bj-1-141 ~]# vim /etc/nginx/nginx.conf
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"';
取消日志记录格式前面的注释,在最后一行添加一行,如下所示:
log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                '$status $body_bytes_sent "$http_referer" '
                '"$http_user_agent" "$http_x_forwarded_for"'
                '$http_host $upstream_status $upstream_addr $request_time $upstream_response_time'; # 新添加的一行
:wq! # 保存退出

###2、设置虚拟主机配置文件

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.a.com.conf # 编辑,在www.a.com;这一行下面添加
access_log /data/logs/www.a.com/a_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# vim /etc/nginx/conf.d/www.b.net # 编辑,在www.b.net;这一行下面添加
access_log /data/logs/www.b.net/b_access.log main; #注意这里的main要和上一步中的main一致;
:wq! #保存退出

[root@Bj-1-141 ~]# nginx -t # 检查配置文件语法
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful
[root@Bj-1-141 ~]# systemctl restart nginx.service # 重新加载nginx配置文件

###3、创建Nginx日志切割脚本

[root@Bj-1-141 ~]# mkdir /data/scripts
[root@Bj-1-141 ~]# vim /data/scripts/cut_nginx_log.sh # 编辑
#!/bin/bash
logs_path="/data/logs/"
DAYS=30

mv ${logs_path}www.a.com/a_access.log ${logs_path}www.a.com/a_access_$(date -d "yesterday" +"%Y%m%d").log
mv ${logs_path}www.b.net/b_access.log ${logs_path}www.b.net/b_access_$(date -d "yesterday" +"%Y%m%d").log

kill -USR1 `cat /var/run/nginx.pid`

find ${logs_path}www.a.com/ -name "a_access_*" -type f -mtime +$DAYS -exec rm {} \;
find ${logs_path}www.b.net/ -name "b_access_*" -type f -mtime +$DAYS -exec rm {} \;
:wq! #保存退出

# 添加脚本执行权限
[root@Bj-1-141 ~]# chmod +x /data/scripts/cut_nginx_log.sh

###4、手动执行脚本测试

[root@Bj-1-141 ~]# cd /data/scripts/
[root@Bj-1-141 scripts]# ./cut_nginx_log.sh
[root@Bj-1-141 scripts]# ls /data/logs/www.a.com/
a_access_20170627.log  a_access.log
[root@Bj-1-141 scripts]# ls /data/logs/www.b.net/
b_access_20170627.log  b_access.log

###5、添加任务计划

[root@Bj-1-141 scripts]# crontab -e
# cut nginx log
0 0 * * * /bin/bash /data/scripts/cut_nginx_log.sh &>/dev/nu

每天会在/data/logs/www.a.com和/data/logs/www.b.net目录下生成类似a_access_20170627.log和b_access_20170627.log的日志文件,并且只保留最近30天的日志记录。

至此,Linux下定时切割Nginx访问日志并删除指定天数前的日志记录完成。 ##参数说明:

$remote_addr:客户端地址,192.168.1.2
$remote_user:客户端用户, -
$time_local:时间和时区,[28/Jun/2017:13:29:00 +0800]
$request:请求的URL路径和HTTP协议,"GET /member/userinfo.shtml HTTP/1.1"
$status:HTTP状态,200
$body_bytes_sent:发送给客户端页面大小,0
$http_referer:页面跳转来源,http://www.a.com/
$http_user_agent:用户访问终端,"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
$http_x_forwarded_for:HTTP代理中,请求端真实IP,-
$http_host:用户在浏览器中输入URL(IP或者域名)地址,www.a.com
$upstream_status:upstream状态,200
$upstream_addr:后端upstream地址及端口,192.168.1.142:8080
$request_time:页面访问总时间,0.021
$upstream_response_time:页面访问中upstream响应时间,0.021

本文转载自:http://www.codegreen.cn/archives/0628246.html

共有 人打赏支持
是江山
粉丝 4
博文 44
码字总数 24060
作品 0
苏州
运维
2018-3-14 Linux学习笔记

12.10 Nginx访问日志 Nginx访问日志的格式是在主配置文件中定义的. vim /usr/local/nginx/conf/nginx.conf //搜索logformat 日志字段含义: $remoteaddr 客户端IP(公网IP) $httpxforwardedfo...

XiaoluHuang
06/28
0
0
日志切割操作梳理(Logrotate/python/shell脚本实现)

本文转自:运维中的日志切割操作梳理(Logrotate/python/shell脚本实现) 对于 Linux 系统安全来说,日志文件是极其重要的工具。不知为何,我发现很多运维同学的服务器上都运行着一些诸如每天...

blackfoxya
06/28
0
0
Nginx系列-4.Nginx日志配置及日志切割

Nginx系列-4.Nginx日志配置及日志切割 目录 - Nginx系列 Nginx系列-1.Linux下安装Nginx Nginx系列-2.配置LNMP(Linux、Nginx、MySQL、PHP)架构 Nginx系列-3.配置Nginx虚拟主机 Nginx系列-4....

ngle
06/08
0
0
Nginx系列-7.配置Nginx使用uwsgi支持web.py框架

Nginx系列-7.配置Nginx使用uwsgi支持web.py框架 目录 - Nginx系列 Nginx系列-1.Linux下安装Nginx Nginx系列-2.配置LNMP(Linux、Nginx、MySQL、PHP)架构 Nginx系列-3.配置Nginx虚拟主机 Ng...

ngle
06/10
0
0
linux复盘:构架搭建lnmp(配置)

nginx虚拟主机 vim /usr/local/nginx/conf/nginx.conf 增加include vhost/*.conf; mkdir /usr/local/nginx/conf/vhost vim /usr/local/nginx/conf/vhost/aaa.com.conf #虚拟主机配置文件 如果......

历经35天的选择
01/23
5
0
Nginx系列-8.配置Nginx+Apache实现动静分离

Nginx系列-8.配置Nginx+Apache实现动静分离 目录 - Nginx系列 Nginx系列-1.Linux下安装Nginx Nginx系列-2.配置LNMP(Linux、Nginx、MySQL、PHP)架构 Nginx系列-3.配置Nginx虚拟主机 Nginx系...

ngle
06/10
0
0
nginx(三) : Nginx配置段介绍和日志切割

Nginx配置段 基于域名的虚拟主机示例 server 端配置 注意 server_name a.com;这个a.com不是我们的,所以需要修改windows电脑上的hosts,在其最后面添加一行,其中192.168.8.222 是你nginx配置...

AHUSKY
06/29
0
1
Nginx系列-5.配置Nginx的防盗链

Nginx系列-5.配置Nginx的防盗链 目录 - Nginx系列 Nginx系列-1.Linux下安装Nginx Nginx系列-2.配置LNMP(Linux、Nginx、MySQL、PHP)架构 Nginx系列-3.配置Nginx虚拟主机 Nginx系列-4.Nginx日...

ngle
06/08
0
0
Nginx系列-3.配置Nginx虚拟主机

Nginx系列-3.配置Nginx虚拟主机 目录 - Nginx系列 Nginx系列-1.Linux下安装Nginx Nginx系列-2.配置LNMP(Linux、Nginx、MySQL、PHP)架构 Nginx系列-3.配置Nginx虚拟主机 Nginx系列-4.Nginx日...

ngle
06/08
0
0
linux下日志管理工具--logrotate

配置 :文件后缀是日期格式,也就是切割后文件是:xxx.log-20150529(.gz) 这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1(.gz) : 日志文件将按月轮循。其它可用值为‘daily’,‘w...

-悟空-
2015/05/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Weblogic问题解决记录

问题:点击登录,页面刷新但是不进去管理界面。解决:删除cookies再登录。

wffger
26分钟前
0
0
RxJava2的错误处理方案

最近使用retrofit2 + rxKotlin2写接口访问,想尽量平铺代码,于是就想到当借口返回的状态码为「不成功」时(比如:code != 200),就连同网络错误一起,统一在onError方法中处理。想法总是好的...

猴亮屏
34分钟前
0
0
程序的调试信息

调试二进制程序时,经常要借助GDB工具,跟踪程序的执行流程,获取程序执行时变量的值,以发现问题所在。GDB能得到这些信息,是因为编译程序时,编译器保存了相应的信息。Linux下的可执行程序...

qlee
57分钟前
0
0
应用级缓存

缓存命中率 从缓存中读取数据的次数与总读取次数的比例,命中率越高越好 java缓存类型 堆缓存 guavaCache Ehcache3.x 没有序列化和反序列化 堆外缓存ehcache3.x 磁盘缓存 存储在磁盘上 分布式...

writeademo
今天
0
0
python爬虫日志(3)find(),find_all()函数

1.一般来说,为了找到BeautifulSoup对象内任何第一个标签入口,使用find()方法。 以上代码是一个生态金字塔的简单展示,为了找到第一生产者,第一消费者或第二消费者,可以使用Beautiful Sou...

茫羽行
今天
0
0
java:thread:顺序执行多条线程

实现方案: 1.调用线程的join方法:阻塞主线程 2.线程池 package com.java.thread.test;public class MyThread01 implements Runnable {@Overridepublic void run() {Syste...

人觉非常君
今天
0
0
ElasticSearch 重写IK分词器源码设置mysql热词更新词库

常用热词词库的配置方式 1.采用IK 内置词库 优点:部署方便,不用额外指定其他词库位置 缺点:分词单一化,不能指定想分词的词条 2.IK 外置静态词库 优点:部署相对方便,可以通过编辑指定文...

键走偏锋
今天
19
0
Git 2.18版本发布:支持Git协议v2,提升性能

Git 2.18版本发布:支持Git协议v2,提升性能Git 2.18版本发布:支持Git协议v2,提升性能 新版本协议的主要驱动力是使 Git 服务端能够对各种 ref(分支与 tag)进行过滤操作。 这就意味着,G...

linux-tao
今天
0
0
python浏览器自动化测试库【2018/7/22-更新】

64位py2.7版本 更新 document_GetResources 枚举页面资源 document_GetresourceText 获取指定url的内容 包括页面图片 下载地址下载地址 密码:upr47x...

开飞色
今天
44
0
关于DCL双重锁失效及解决方案

关于DCL双重锁失效及解决方案 Double Check Lock (DCL)实现单例 DCL 方式实现单例的优点是既能够在需要时才初始化单例,又能够保证线程安全,且单例对象初始化后调用getInstance方法不进行...

DannyCoder
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部