文档章节

用70行代码实现日志分析程序-python

创意顽石
 创意顽石
发布于 2016/01/28 14:45
字数 634
阅读 1006
收藏 12

python又一力作,感受python的强大。用70行代码实现日志分析程序

功能介绍:可直接对文本日至进行分组和排序功能,完了输出结果粘贴到excel里就可以直接生成图表,对于排查一些生产环境问题有很大的作用。

原创在这里:http://www.pythontab.com/html/2013/pythonhexinbiancheng_0111/119.html

#encoding=utf-8
from optparse import OptionParser
import re
  
def get_args():
    def get_parser():
        usage = u"""%prog -f filename -r rule [-d] [-c]
用途:对文本文件按照指定模式进行分组并排序,主要分析文本日志用
注意:如果正则表达式里有分组,则提取第一分组,
      如果不希望这样,请使用正则的无捕获分组(?:)
示例:统计日志里每分钟的日志量,默认按时间正序排列
      python group.py -f log.txt -r "\d\d\d\d\-\d\d\-\d\d \d\d:\d\d"
      统计日志里每个ip出现的次数,并按出现次数倒序排列
      python group.py -f input.txt -r "\d+\.\d+.\d+.\d+" -c -d"""
        return OptionParser(usage)
  
    def add_option(parser):
        parser.add_option("-f", "--file", dest="filename",
           help=u"需要分组的文本文件", metavar="FILE")
        parser.add_option("-r", "--rule", dest="rule",
           help=u"分组的正则表达式", metavar="REGEX")
        parser.add_option("-d", action="store_true",
            dest="reverse", default=False, help=u"反序排列")
        parser.add_option("-c", action="store_true",
            dest="orderbycount", default=False,
            help=u"按数量排序,默认按匹配字符串排序")
  
    def get_options(parser):
        options, args = parser.parse_args()
        if not options.filename:
            parser.error('没有指定文件名')
        if not options.rule:
            parser.error('没有指定分组规则')
        return options
  
    parser = get_parser()
    add_option(parser)
    return get_options(parser)
  
options      = get_args()
filename     = options.filename
rule         = options.rule
reverse      = options.reverse
orderbycount = options.orderbycount
regex        = re.compile(rule, re.IGNORECASE)
keys         = {}
  
def counter_key(key):
    keys.setdefault(key, 0)
    keys[key] += 1
  
def print_keys():
    sort_key = (lambda d:d[1]) if orderbycount else (lambda d:d[0])
    temp_items = sorted(keys.items(), key=sort_key, reverse=reverse)
    for item in temp_items:
        key = item[0]
        print key, keys[key]
  
def get_key(line):
    m = regex.search(line)
    if m:
        return m.group() if regex.groups == 0 else m.group(1)
    return '!NotMatch!'

#这是程序的入口
with open(filename) as f:
    for line in f:
        #一行一行处理日志信息
        key = get_key(line)
        counter_key(key)
  
print_keys()


知识点:

OptionParser

这个库是用来解析python的路径描述符的。


用法:

python logAnalyse.py -f  /app/flume/logs/1453801816230-45 -r "\d+\.\d+.\d+.\d+" -c -d

可以按照每行中符合的ip地址,打印出来。


© 著作权归作者所有

创意顽石
粉丝 4
博文 32
码字总数 11295
作品 0
丰台
高级程序员
私信 提问
请问我该如何利用python来制作一个日志分析程序?

近期想做一个分析小软件是关于分析日志文件的,当然是用python了,但是捉摸了好久没有太多的思路,希望各位给我一些建议,我该如何分析这个日志。 日志的源文件是类似这样的 每一个乘客在购的...

我不明白
2017/03/03
537
4
15行Python代码搞定网易云热门歌单

引言 马上314情人节就要来了,是否需要一首歌来抚慰你,受伤或躁动的心灵。来吧,今天教你用15行代码搞定热门歌单。学起来并听起来吧。 本文使用的是Selenium模块,它是一个自动化测试工具,...

上海小胖
03/10
0
0
MATLAB vs. Python | 选择 MATLAB 用犹豫吗?

基于矩阵的 MATLAB 语言让数学直观易读。 工程师和科学家需要能够直观表达矩阵和数组数学运算的编程语言,而非通过通用编程实现的编程语言。 Python 中的矩阵数学需要执行函数调用,而非自然...

技术小能手
2018/08/01
0
0
做大数据分析的怎么可以不会这个?

Overview:0 引言1 环境2 模块准备3 实现思路4 小试牛刀5 中试牛刀6 总结 0 引言 词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文...

上海小胖
04/03
0
0
精通日志查询: 如何翻页获取日志和计算结果

精通日志查询: 如何翻页获取日志和计算结果 日志服务提供一站式的日志采集、存储、查询、计算功能。交互式的日志采集体验,释放用户的运维压力,解放用户的双手; 交互式的查询分析体验,让...

云雷
2018/08/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

读书replay《maven实战》.1.20190526

前情提要 maven这个工具用了好久了,但是一直都用的迷迷糊糊的,没有对它进行过系统性的学习,只是知道一些常用的功能怎么实现,所以20190516这一天我从JD购买了徐晓斌老师所著的《maven实战...

wanxiangming
29分钟前
0
0
真实项目案例实战——【状态设计模式】使用场景

什么是状态模式 状态模式允许一个对象在其内部状态改变的时候改变其行为。这个对象看上去就像是改变了它的类一样。 状态模式应用场景 1.一个对象的行为取决于它的状态,并且它必须在运行时刻根...

须臾之余
36分钟前
0
0
Java 实现把字符串转换成整数【底层实现】

https://blog.csdn.net/zl18310999566/article/details/80263396

qimh
39分钟前
0
0
IDEA的debugger

1、win下节省内存空间 3、条件断点

一只小青蛙
50分钟前
3
0
炸!亿级数据DB秒级平滑扩容

一步一步,娓娓道来。 一般来说,并发量大,吞吐量大的互联网分层架构是怎么样的? 数据库上层都有一个微服务,服务层记录“业务库”与“数据库实例配置”的映射关系,通过数据库连接池向数据...

编程SHA
56分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部