文档章节

nginx日志分割处理以及分析

独钓渔
 独钓渔
发布于 2015/08/26 16:23
字数 1433
阅读 1697
收藏 15

在很多时候,我们会非常关注网站的访问量,比如网站的日PV是多少、网站某个功能上线之后点击量是多少,像这些东西都是需要从web容器中的访问日志统计出来的,下面我们看一下如何在nginx中统计网站的访问信息


1、设置Nginx访问日志记录格式
在默认情况下,nginx只是记录相关get信息,像post页面是不记录的,所以下面需要修改nginx.conf,让其访问日志记录post等请求信息,在nginx.conf中server段中加入如下信息

        log_format  access  '$remote_addr - $remote_user [$time_local] "$request"' '$status $body_bytes_sent "$http_referer"' '"$http_user_agent" $http_x_forwarded_for';
        access_log /usr/local/nginx/logs/access.log access;


2、设置日志定期截取
设置日志定期截取一是为了方便查阅,二是为了I/O拥塞(截止到目前笔者维护过的服务器中单台服务器日访问日志大小就达到1.6G,如果不定期截取,由于文件内容较大,后期对文件进程查询、移动时将会严重影响系统性能)。nginx日志格式不像apache、resin那么人性化,nginx访问日志无法在nginx的配置文件中设置成按日期格式存储,目前常见的设置方法主要靠第三方工具或者脚本来实现,下面我们就通过一个最简单的脚本进行实现

#vi /etc/nginx_access_log.sh
#!/bin/bash
mv /usr/local/nginx/logs/access.log /opt/nginx_access_`date +%Y%m%d`.log
killall -s USR1 nginx

脚本说明:这个脚本主要实现两个功能,一是将nginx访问日志按照日期移动到目的地,而是移动完毕后让nginx重新生成日志文件

#chmod +x /etc/nginx_access_log.sh

使用cron服务定期执行该脚本,下面设置成的是每晚23点59执行,这样nginx访问日志正好记录的是全天的访问记录
#crontab -e
59 23 * * * /etc/nginx_access_log.sh


3、日志查询
下面做一个最简单的统计,统计http://blog.luwenju.com页面的日点击量是多少
#grep -c 'http://blog.luwenju.com/' /opt/nginx_access_20110815.log
396

总结:像本篇文章所介绍的统计方法只适合访问量较小、应用相对简单的网站,像复杂应用、访问量较大的网站还需要借助第三方工具来统计,目前应用最广泛的是awstats,《Nginx日志分析(下)》将介绍如何使用awstats来分析nginx日志

http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=3582157

 

 

第一步,日志的处理

最好每天分割一下日志,一开始没注意这个工作,结果不久日志文件就上G了,很痛苦。分割日志很简单,首先把日志文件复制到别的地方,然后再通知nginx重新生成日志就可以了。shell脚本如下:

 

# !/bin/bash

logs_path
= " /nginx/logs/ "
mv ${logs_path}access . log  ${logs_path}access_$(date  - " yesterday "   + " %Y%m%d " ) . log
kill   - USR1 `cat  / nginx / logs / nginx . pid`

 

代码中的/nginx/logs指的是nginx的log日志文件所在目录,生成了以昨天日期命名的日志文件。

为了达到每天自动分割的目的,在crontab中加入以下部分:

 

1   0   *   *   *  sh  / home / zyf / sh / cut_nginx_log . sh

这样就每天的0点1分把nginx日志重命名为日期格式,并重新生成今天的新日志文件。

 

第二步,Awstats的配置。

日志文件分割好了,接下来就是分析了,也就是Awstats的使用了。
Awstats的配置文件默认会存储在/etc/awstats/目录下,包括你安装时设置的域名如:awstats.www.xxxxke.com.conf。在这个配置文件中修改这个地方:
LogFile = " /nginx/logs/access_%YYYY-0%MM-0%DD-24.log "

这个意思是要去读取nginx昨天的日志文件,关于后边%YYYY-0%MM-0%DD-24的设置,规则如下:

 

复制代码
#  You can also use tags in this filename if you need a dynamic file name
# depending on date or time (Replacement is made by AWStats at the beginning
# of its execution). This is available tags :
#   %YYYY-n  is replaced with 4 digits year we were n hours ago
#   %YY-n    is replaced with 2 digits year we were n hours ago
#   %MM-n    is replaced with 2 digits month we were n hours ago
#   %MO-n    is replaced with 3 letters month we were n hours ago
#   %DD-n    is replaced with day we were n hours ago
#   %HH-n    is replaced with hour we were n hours ago
#   %NS-n    is replaced with number of seconds at 00:00 since 1970
#   %WM-n    is replaced with the week number in month (1-5)
#   %Wm-n    is replaced with the week number in month (0-4)
#   %WY-n    is replaced with the week number in year (01-52)
#   %Wy-n    is replaced with the week number in year (00-51)
#   %DW-n    is replaced with the day number in week (1-7, 1=sunday)
#                              use n=24 if you need (1-7, 1=monday)
#   %Dw-n    is replaced with the day number in week (0-6, 0=sunday)
#                              use n=24 if you need (0-6, 0=monday)
#   Use 0 for n if you need current year, month, day, hour

复制代码

 

第三步,开始分析、生成结果。

最后,可以执行分析了。使用这个命令:
/ usr / local / awstats / wwwroot / cgi - bin / awstats . pl  - update  - config = www . xxxxke . com

 

这个命令会把结果生成到/var/lib/awstats 目录下 awstatsXXXX.www.XXXX.com.txt文件。

当然啦,这样看起来不太方便哦,呵呵,可以再用下面的命令来生成html页面,相当漂亮:

 


perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update \
 
-config=www.xxxxoke.com -lang=cn \ 
-dir=/html/awstats \
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

 

这样就会在/html/awstats目录下生成很漂漂的分析结果页,很暴力很强大。

 

第四步,自动化。

要是每天都去服务器上运行几条命令肯定是件令人烦燥的事情,所以呢,linux的世界里有crontab这样的好东东,很简单,下面是我的crontab

 

1   0   *   *   *  sh  / home / zyf / sh / cut_nginx_log . sh

0   1   *   *   *   / usr / local / awstats / wwwroot / cgi - bin / awstats . pl  - update  - config = www . xxxxke . com

0   2   *   *   *  perl  / usr / local / awstats / tools / awstats_buildstaticpages . pl  - update  - config = www . xxxxke . com  - lang = cn  - dir =/ html / awstats  - awstatsprog =/ usr / local / awstats / wwwroot / cgi - bin / awstats . pl

 

-------------------------------------------------------------------------

大功告成,打完收功……

 http://www.cnblogs.com/amboyna/archive/2009/08/09/1542171.html

 

本文转载自:http://www.cnblogs.com/amboyna/archive/2009/08/09/1542171.html

独钓渔
粉丝 48
博文 385
码字总数 148158
作品 0
沙坪坝
系统管理员
私信 提问
Python统计web应用的每个连接使用情况

背景:前段时间接到一个需求,领导说他想要知道我们在生产环境中某系统的每个应用使用情况。 需求: 统计每个按钮的点击量; 不能影响生产环境; 数据要不断递增,而不是看某个时间段的; 数...

xinsir999
2017/10/02
0
0
轻量级HTTP服务器Nginx(常用配置实例)

Nginx作为一个HTTP服务器,在功能实现方面和性能方面都表现得非常卓越,完全可以与Apache相媲美,几乎可以实现Apache的所有功能,下面就介绍一些Nginx常用的配置实例,具体包含虚拟主机配置、...

china008
2015/12/29
123
0
常用APP等日志分割与nginx日志分析脚本合集

针对app,resin,tomcat日志分割脚本 appname:填写app(包含resin/tomcat)的名字; key:过滤日志关键字,避免删除其他不必要的文件; cleanday:日志保存的周期,缺省保存30天; cleanlog:删除...

运维技术
2014/06/17
0
0
nginx切割日志脚本(python)

因为以前没有做nginx日志分割,有时候想看日志的时候总是发现有十几G的甚至上百G的日志文件,于是就想使用python写个nginx日志分割(当然你也可以使用shell来完成都是很简单) 需求: 1.按照...

ImPoorWretch
2018/04/29
0
0
Elasticsearch + Logstash + Kibana 搭建日志集中分析平台实践

比较详细的搭建教程:https://segmentfault.com/a/1190000003689999 Elasticsearch + Logstash + Kibana(ELK)是一套开源的日志管理方案,分析网站的访问情况时我们一般会借助Google/百度/...

啊莫
2016/04/05
86
0

没有更多内容

加载失败,请刷新页面

加载更多

阿里云安全中心:自动化安全闭环实现全方位默认安全防护

随着数字化转型的深入发展,企业云上资产越来越多元化,随之而来的是安全威胁的复杂化,企业需要花费大量精力进行告警分析、威胁检测、病毒查杀等工作。Gartner曾指出,随着安全警报的复杂性...

迷你芊宝宝
19分钟前
1
0
好程序员web前端分享值得参考的css理论:OOCSS、SMACSS与BEM

好程序员web前端分享值得参考的css理论:OOCSS、SMACSS与BEM 最近在The Sass Way里看到了Modular CSS typography一文,发现文章在开头部分就提到了OOCSS、 SMACSS、 BEM、这3个词。“如果还不...

好程序员IT
21分钟前
2
0
Gradle的安装和在idea的配置

下载gradle 下载地址:http://services.gradle.org/distributions/ 。我下载的是 gradle-5.4-bin.zip。然后解压到G:\gradle-5.4 配置环境变量。 有3个环境变量: GRADLE_HOME 等于gradle的安...

王坤charlie
22分钟前
1
0
聊聊分布式事务,再说说解决方案

前言 最近很久没有写博客了,一方面是因为公司事情最近比较忙,另外一方面是因为在进行 CAP 的下一阶段的开发工作,不过目前已经告一段落了。 接下来还是开始我们今天的话题,说说分布式事务...

群星纪元
24分钟前
2
0
分布式项目(6)consul注册中心

lelinked
34分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部