文档章节

如何分析accesslog

谢思华
 谢思华
发布于 2015/08/14 16:30
字数 862
阅读 308
收藏 6
点赞 0
评论 0

一.简介

      accesslog是apache或者nginx等web service生成的日志,对应于网页的每一次请求,包含有大量的信息,分析好accesslog可以对网站的运行情况有一个整体的认识,在出现问题的情况下,也可以通过对accesslog的数据分析结果,大致定位出问题所在。负责网站的运维、架构相关的工程师需要对accesslog非常熟悉,策略效果相关的工程师也可以通过对accesslog的分析,得到用户的行为数据。

二.查看accesslog的工具

      xlog

    【使用方法:把xlog软件放入Linux存放accesslog的目录下,或者安装在别的路径,然后通过命令可以分析数据】

三.简介

一条典型的accesslog:

101.226.166.254 - - [21/Oct/2013:20:34:28 +0800] "GET /movie_cat.php?year=2013 HTTP/1.1" 200 5209 "http://www.baidu.com" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MDDR; .NET4.0C; .NET4.0E; .NET CLR 1.1.4322; Tablet PC 2.0); 360Spider"

下面我们来说说这一行记录的意思:

1)101.226.166.254:(用户IP)

2)[21/Oct/2013:20:34:28 +0800]:(访问时间

3)GET:http请求方式,有GET和POST两种

4)/movie_cat.php?year=2013:当前访问的网页是动态网页,movie_cat.php即请求的后台接口,year=2013为具体接口的参数

5)200:服务状态,200表示正常,常见的还有,301永久重定向、4XX表示请求出错、5XX服务器内部错误

6)5209:传送字节数为5209,单位为byte

7)"http://www.baidu.com":refer:即当前页面的上一个网页

8)"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; MDDR; .NET4.0C; .NET4.0E; .NET CLR 1.1.4322; Tablet PC 2.0); 360Spider": agent字段:通常用来记录操作系统、浏览器版本、浏览器内核等信息

四.数据统计及分析

接口请求频次:分接口、按天和小时分别统计。了解网站的运行情况,每个接口的请求频次,用户的行为习惯等。

响应时间:一天的平均响应时间、分接口的平均响应时间、分接口按小时统计平均响应时间。响应时间过长的请求可能说明服务性能上存在缺陷,就需要对相应的接口进行优化了。

异常分析:状态码非200的请求、响应时间超过一定域值的请求。大量的404不利用SEO,应该尽量避免。

具体参数统计:对于动态页面,一个接口通常带有多个参数,其中某个或者某几个参数特别重要,可以进一步细化,产生接口对应的参数的统计结果

ip来源的统计:可以统计出网页访问的ip来源,进一步通过ip定位,可以产生网站按地域的访问情况,同时对ip的统计,也可以对一些可能的攻击或者黑客行为进行识别。

蜘蛛抓取情况分析:搜索引擎的蜘蛛通常会设置agent字段,通过分析agent字段,可以得到网站一天被百度、谷歌等搜索引擎抓取的次数,以及哪些网页经常被spider爬过,这也是SEO的基础。

五.注意事项

      可以通过apache或者nginx的配置可以加上响应时间,默认accesslog是没有输出响应时间。


© 著作权归作者所有

共有 人打赏支持
谢思华
粉丝 59
博文 170
码字总数 120809
作品 0
广州
程序员
Elasticsearch集群数据迁移

参考 https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-snapshots.html https://www.elastic.co/guide/en/elasticsearch/guide/current/rollingrestarts.html https://......

minminmsn
07/09
0
0
使用 Map-Reduce 统计Web 服务器 access.log 日志文件

1.6. Map-Reduce 1.6.1. 使用 Map-Reduce 统计Web 服务器 access.log 日志文件 首先将web服务器access.log倒入到mongodb,参考 http://netkiller.github.io/article/log.html。 格式如下: {"......

netkiller-
2013/07/15
0
0
实现基于FQDN虚拟主机

实现基于FQDN虚拟主机 环境:该实验的环境是在centos6上进行的,http的版本为2.2 步骤一:安装http2.2 直接使用yum命令安装即可 步骤二:在/app目录下准备好存放网站主页的目录 site1,site2,...

狗尾巴草m
2017/10/21
0
0
lighttpd 的访问日志中无法记录用户的真实IP解决方法

默认在lighttpd的accesslog里面无法记录透过squid或者apache的mod_proxy过来的用户ip地址,全都会记录到 squid或者apache机器的ip地址,但是httpd头里面的用户ip其实是发送到lighttpd的,可以...

清风徐不来
2012/08/31
0
0
通过zabbix 3.4 实现nginx web监控

这个文章是两年前发的,最近整理了一下系统使用。只针对nginx前端web进行简单监控,具体再根据业务需求进行详细调用。后续的web场景、后端的服务器 这里不包含,需单独做,另外日志分析不建议...

zhangguangyi
06/26
0
0
init_connect + binlog 记录 mysql 操作日志

init_connect + binlog 记录 mysql 操作日志 简介 mysql 的 init_connect 变量是每个客户端连上数据库服务器时执行的一组数据,这组数据可以是一个或者多个sql语句。 A string to be execute...

Lailysh
2016/03/28
335
0
apache中与日志有关的模块

与日志相关的模块 软件 modlogsql 把日志记到mysql中的模块 http://www.apache.org apache web服务器 http://www.apache.org 准备工作(安装apache) ./configure --prefix=/www/apache --d...

JavaGG
2009/05/06
221
0
logstash通过rsyslog对nginx的日志收集和分析

logstash通过rsyslog对nginx的日志收集和分析 http://bbotte.blog.51cto.com/6205307/1613571 logstash&elasticsearch&kibana的安装和配置 http://bbotte.blog.51cto.com/6205307/1614453 这......

bbotte
2015/02/26
0
0
mysql审计插件设置

1、create database auditdb use auditdb 2、create table accesslog(ID int primary key auto_increment,ConnectionID int,ConnUser varchar(30),MatchUser varchar(30),LoginTime datetime......

科技小能手
2017/11/12
0
0
开源网站访问统计系统Piwik的基本使用

最近试用了开源的网站访问统计系统——piwik,觉得功能非常强大,一点不输于商业产品百度统计与google analysis,替代他们完全没有问题。 关于piwik的简介可以去piwik的官网( http://piwik....

Feng_Yu
2014/02/24
0
4

没有更多内容

加载失败,请刷新页面

加载更多

下一页

@Qualifier指定注入的bean

有这样一种情况,当你创建多个具有相同类型的 bean 时,并且想要用一个属性只为它们其中的一个进行装配,在这种情况下,你可以使用 @Qualifier 注释和 @Autowired 注释通过指定哪一个真正的 ...

少年已不再年少
7分钟前
0
0
gcviewer的使用

1、没有安装git软件 在编译打包GCViewer的过程中,不能执行git命令,错误信息如下: [ERROR] Failed to execute goal org.codehaus.mojo:buildnumber-maven-plugin:1.4:create (create-build...

刀锋
20分钟前
1
0
Android LogUtil 日志优化 调试的时候打印 点击跳转

打印日志的时候,可以点击跳转 LogUtil.java public class LogUtil { private static boolean IS_DEBUG = BuildConfig.DEBUG; public static void i(String tag, String message) {......

Jay_kyzg
30分钟前
0
0
人工智能你必须掌握的32个算法(二)归并排序算法

归并排序(MERGE-SORT)是建立在归并操作上的一种有效的排序算法,该算法是采用分治法(Divide and Conquer)的一个非常典型的应用。将已有序的子序列合并,得到完全有序的序列;即先使每个子...

木头释然
32分钟前
0
0
第十四章NFS服务搭建与配置

14.1 NFS介绍 NFS介绍 NFS是Network File System的缩写;这个文件系统是基于网路层面,通过网络层面实现数据同步 NFS最早由Sun公司开发,分2,3,4三个版本,2和3由Sun起草开发,4.0开始Netap...

Linux学习笔记
55分钟前
1
0
流利阅读笔记27-20180716待学习

生了娃照样能打,两位母亲温网会师 Lala 2018-07-16 1.今日导读 现今在生儿育女后回归事业的母亲们已经非常多见,但是很少有人想到,以高强度运动与竞争激烈为特色的竞技体育项目也会有 work...

aibinxiao
56分钟前
6
0
Guava 源码分析(Cache 原理【二阶段】)

前言 在上文「Guava 源码分析(Cache 原理)」中分析了 Guava Cache 的相关原理。 文末提到了回收机制、移除时间通知等内容,许多朋友也挺感兴趣,这次就这两个内容再来分析分析。 在开始之前...

crossoverJie
今天
0
0
OSChina 周一乱弹 —— 如果是你喜欢的女同学找你借钱

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @guanglun :分享Michael Learns To Rock的单曲《Fairy Tale》 《Fairy Tale》- Michael Learns To Rock 手机党少年们想听歌,请使劲儿戳(这...

小小编辑
今天
948
20
NNS域名系统之域名竞拍

0x00 前言 其实在官方文档中已经对域名竞拍的过程有详细的描述,感兴趣的可以移步http://doc.neons.name/zh_CN/latest/nns_protocol.html#id30 此处查阅。 我这里主要对轻钱包开发中会用到的...

暖冰
今天
0
0
32.filter表案例 nat表应用 (iptables)

10.15 iptables filter表案例 10.16/10.17/10.18 iptables nat表应用 10.15 iptables filter表案例: ~1. 写一个具体的iptables小案例,需求是把80端口、22端口、21 端口放行。但是,22端口我...

王鑫linux
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部