文档章节

常用APP等日志分割与nginx日志分析脚本合集

运维技术
 运维技术
发布于 2014/06/17 17:46
字数 1147
阅读 1140
收藏 5

针对app,resin,tomcat日志分割脚本

appname:填写app(包含resin/tomcat)的名字;

key:过滤日志关键字,避免删除其他不必要的文件;

cleanday:日志保存的周期,缺省保存30天;

cleanlog:删除日志的记录保存的目录

核心命令: find命令去查找日志目录下含关键字的日志文件,然后利用for循环去删除$cleanday之前的日志文件

#!/bin/bash 
today=$(date +%Y_%m%d_%H%M)
#appname=tomcat
#logdir=/data/log/tomcat
#key=log
#key=catalina.out

appname=storm
logdir=/data/log/$appname
key=$appname
cleanday=30
cleanlog=/data/log/clean
filelist=$(find $logdir -type f -mtime +$cleanday |grep "$key" )


[[ -d $cleanlog  ]] || mkdir -p $cleanlog

echo "[Date:`date`]"
if [[ -z $filelist  ]];then
echo "$appname logfile have't the $cleanday days ago file! ---exit!"
echo "[ Date:`date` ] $appname logfile have't the $cleanday days ago file! ---exit!"  >> $cleanlog/delete.log
exit
fi



echo "Starting clean up the $appname is logfile for $cleanday days ago..."
echo "Need to clean up the following directory:"
echo "$filelist"

echo "[ Date:`date` ]"  >> $cleanlog/delete.log
echo "Starting clean up the $appname is logfile..."   >> $cleanlog/delete.log
echo "Need to clean up the following directory:" >> $cleanlog/delete.log
echo "$filelist"        >> $cleanlog/delete.log           




for i in $filelist
do

rm -f $i
#echo $i > /dev/null 2>&1 

done


filelist2=$(find $logdir -type f -mtime +$cleanday |grep "$key")
if [[ -z $filelist2 ]];then 
echo "$appname logfile have cleanup ---successful!"
echo "$appname logfile have cleanup ---successful!" >> $cleanlog/delete.log
else 
echo "$appname logfile have cleanup ---faild!"
echo "$appname logfile faild file:"
echo "$filelist2"
echo "$appname logfile have cleanup ---faild!" >> $cleanlog/delete.log
echo "$appname logfile faild file:"    >> $cleanlog/delete.log
echo "$filelist2"		>> $cleanlog/delete.log


fi

针对nginx日志分割脚本:

#!/bin/bash 
 path=/data/log/nginx
 nginx=` cat /usr/local/nginx/logs/nginx.pid `
 mv  $path/access.log    $path/access_`date +%Y%m%d`.log
 kill -USR1 $nginx       #使用USR1参数通知Nginx进程切换日志文

针对nginx日志分析脚本:

#!/bin/bash
#Date create 2013-10-23
#Author GaoMingHuang

log_path=/data/log/nginx/access.log
log_dir=/data/log/Analysis
domain="crm.baoxian.in"
email="530035210@qq.com"
maketime=`date +%Y-%m-%d" "%H":"%M`
logdate=`date -d "yesterday" +%Y-%m-%d`
dayone=`date +%d/%b/%Y`
now=`date +%Y_%m%d_%H%M`

date_start=$(date +%s)
total_visit=`wc -l ${log_path} | awk '{print $1}'`
total_bandwidth=`awk -v total=0 '{total+=$10}END{print total/1024/1024}' ${log_path}`
total_unique=`awk '{ip[$1]++}END{print asort(ip)}' ${log_path}`
ip_pv=`awk '{ip[$1]++}END{for (k in ip){print ip[k],k}}' ${log_path} | sort -rn |head -20`
url_num=`awk '{url[$7]++}END{for (k in url){print url[k],k}}' ${log_path} | sort -rn | head -20`
#referer=`awk -v domain=$domain '$11 !~ /http:\/\/[^/]*'"$domain"'/{url[$11]++}END{for (k in url){print url[k],k}}' ${log_path} | sort -rn `
notfound=`awk '$9 == 404 {url[$7]++}END{for (k in url){print url[k],k}}' ${log_path} | sort -rn | head -20`

#spider=`awk -F'"' '$6 ~ /Baiduspider/ {spider["baiduspider"]++} $6 ~ /Googlebot/ {spider["googlebot"]++}END{for (k in spider){print k,spider[k]}}'  ${log_path}`
#search=`awk -F'"' '$4 ~ /http:\/\/www\.baidu\.com/ {search["baidu_search"]++} $4 ~ /http:\/\/www\.google\.com/ {search["google_search"]++}END{for (k in search){print k,search[k]}}' ${log_path}`
#echo -e "概况\n报告生成时间:${maketime}\n总访问量:${total_visit}\n总带宽:${total_bandwidth}M\n独立访客:${total_unique}\n\n访问IP统计\n${ip_pv}\n\n访问url(统计前20个页面)\n${url_num}\n\n来源页面统计\n${referer}\n\n404统计(统计前20个页面)\n${notfound}\n\n蜘蛛统计\n${spider}\n\n搜索引擎来源统计\n${search}"  

#统计该ip在干些什么
max_ip=`awk '{ip[$1]++}END{for (k in ip){print ip[k],k}}' ${log_path} | sort -rn |head -1 |awk '{print $2}'`
ip_havi=`cat $log_path | grep "$max_ip" | awk '{print $7}'| sort |uniq -c |sort -nr |head -20`
#统计当天哪个时间段访问量最多
time_stats=`awk '{print $4}' ${log_path}  | grep "$dayone" |cut -c 14-18 |sort|uniq -c|sort -nr |head -n 10`

echo -e "概况\n报告生成时间:${maketime}\n总访问量:${total_visit}\n总带宽:${total_bandwidth}M\n独立访客:${total_unique}\n\n访问IP统计(统计前20个IP):\n${ip_pv}\n\n访问url最多(统计前20个页面)\n:${url_num}\n\n404统计(统计前20个页面):\n${notfound}\n\n当天访问次数最多的时间段如下:\n${time_stats}\n\n访问量最高的IP[${max_ip}]前20个最多的页面如下:\n${ip_havi} "

[[ -d $log_dir  ]] || mkdir -p $log_dir

echo -e "概况\n报告生成时间:${maketime}\n总访问量:${total_visit}\n总带宽:${total_bandwidth}M\n独立访客:${total_unique}\n\n访问IP统计(统计前20个IP):\n${ip_pv}\n\n访问url最多(统计前20个页面)
\n:${url_num}\n\n404统计(统计前20个页面):\n${notfound}\n\n当天访问次数最多的时间段如下:\n${time_stats}\n\n访问量最高的IP[${max_ip}]前20个最多的页面如下:\n${ip_havi} " > $log_dir/analysis_access$now.log
date_end=$(date +%s)
time_take=$(($date_end-$date_start))
take_time=$(($time_take/60))

echo "access统计脚本分析日志花费了: [start:$date_start end:$date_end] $time_take"s"  $take_time"min""
echo "access统计脚本分析日志花费了: [start:$date_start end:$date_end] $time_take"s"  $take_time"min"" >> $log_dir/analysis_access$now.log

针对nginx日志分析脚本结果展现如下:

  




© 著作权归作者所有

共有 人打赏支持
运维技术
粉丝 103
博文 105
码字总数 110191
作品 1
广州
部门经理
私信 提问
Nginx日志分割Shell脚本,按天分类存储并删除超过7天的日志

如果使用LNMP网站环境的话,默认nginx只会生成一个访问日志,并且是在每天的积累,日志文件会变的非常大,如果需要做一下日志的分析,无论是使用脚本分析,还是把日志下载本地分析,都不太方...

江边望海
2016/11/19
96
2
nginx日志分割处理以及分析

在很多时候,我们会非常关注网站的访问量,比如网站的日PV是多少、网站某个功能上线之后点击量是多少,像这些东西都是需要从web容器中的访问日志统计出来的,下面我们看一下如何在nginx中统计...

独钓渔
2015/08/26
0
0
nginx切割日志脚本(python)

因为以前没有做nginx日志分割,有时候想看日志的时候总是发现有十几G的甚至上百G的日志文件,于是就想使用python写个nginx日志分割(当然你也可以使用shell来完成都是很简单) 需求: 1.按照...

ImPoorWretch
04/29
0
0
nginx在不重启进程的情况下,分割nginx日志,每天一个日志

摘要:由于nginx的日志本身只是支持按照server_name或者大小进行划分,所以对于有的站长,要对应的网站一天一个日志分析就不方便,固有了分割nginx日志的需求。 实现原理: 实现步骤: 一.从...

梨子swl
2016/12/21
39
0
每天自动分割Nginx日志文件

资料来源:https://www.centos.bz/2011/03/split-nginx-logfile-eveyday/ Nginx产生的日志都是存在一个文件,随着网站运行时间越长,日志文件的大小也在不断增长,这对我们想分析当天日志非常...

hiqj
2015/08/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

GO redis 相关操作

在gopath 目录下安装 go get github.com/garyburd/redigo/redis package mainimport ("fmt""github.com/garyburd/redigo/redis")//定义一个全局链接池变量var pool *redis.Pool//......

汤汤圆圆
30分钟前
6
0
java8性特性,常用的lambda表达式

1、抽取多个对象中的某个属性,用数组接收 List<Student> students = new ArrayList<>(); List<String> names =students.stream().map(Student::getName).collect(Collectors.toList()); 2、......

Boss-x
31分钟前
7
0
flutter 子组件与父组件

无论是子组件还是父组件,任何时候initState()只执行一次,如果需要判断 就在build里面进行,不然无效的。

大灰狼wow
33分钟前
4
0
Rancher Labs引入全球首个多集群、多租户的Prometheus支持!

近日,Rancher Labs宣布加强对Prometheus的支持,提高Kubernetes集群的可见度。Rancher也因此成为唯一一个在多集群、多租户环境中支持Prometheus的解决方案。 Prometheus正迅速成为监控云原生...

RancherLabs
35分钟前
3
0
vue项目中api接口管理总结

默认vue项目中已经使用vue-cli生成,安装axios,基于element-ui开发,axiosconfig目录和api目录是同级,主要记录配置的相关。 1. 在axiosconfig目录下的axiosConfig.js import Vue from 'vue...

peakedness丶
38分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部