文档章节

Python logging使用指南

小致dad
 小致dad
发布于 2016/07/14 21:10
字数 1333
阅读 22
收藏 0
点赞 0
评论 0

Python logging使用指南

在开发程序过程中,打一手好的日志,对我们事后追根索源,排查问题至关重要.
在初学c或者python时,我们的代码中通常充斥着这样的代码片段:

printf("a is %d",a);

或者

print 'Start reading database'
records = model.read_recrods()
print '# records', records
print 'Updating record ...'
model.update_records(records)
print 'done'


本文总结了python自带的日志模块logging使用,并给出几个实例.虽然在现实的产品代码中,也偶尔会看到类似这种代码,但通常一个成熟的产品,都会有一个单独的日志模块供整个系统使用,我们应当保持正确的姿势来打日志.

1.python logging实例

python中logging是一个单独的模块.使用灵活方便,支持以本地文件/socket/http等多种形式输出日志.
以下是一些最简单的logging使用实例.
实例1:输出日志到控制台

import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
logging.debug('this log should not be output,for the log level is logging.INFO')
logger.info('Start of test logging')
# do some logic
logger.error('something goes wrong')
logger.warning('please be careful')
logger.info('end of test logging')

输出如下:

INFO:__main__:Start of test logging
ERROR:__main__:something goes wrong
WARNING:__main__:please be careful
INFO:__main__:end of test logging

实例1中的使用方式与我们直接使用print打印信息相比,除了日志级别控制外,并没有什么用.通常一个使用的日志信息,都会包含日志产生时间,产生该日志的源文件,代码所在行数等等这些信息.实例2中就将这两个东西
实例2:输出日志到指定文档

import logging
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
# create a file handler
handler = logging.FileHandler('test.log')
handler.setLevel(logging.INFO)
# create a logging format
formatter = logging.Formatter('%(asctime)s - %(filename)s:%(lineno)d - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
# add the handlers to the logger
logger.addHandler(handler)
logger.info('hello,python!')


当然,很多时候,我们并不仅仅是像实例2中那样,讲日志写入本地文档,我们可以有一个日志分析/处理中心,不同的系统需要将各自的日志发送到特定的日志中心.此时,我们便需要使用到logging.handlers.HTTPHandler/logging.handlers.SocketHandler/logging.handlers.SMTPHandler等更高级的日志处理器来进行日志发送.使用方式详见python官方文档.上述代码通过引入handler和formatter来实现讲日志以特定的格式输出到指定日志文件中.

2.如何正确的设置日志级别

在合适的时候使用合适的日志输出级别.因为日志的输出是需要耗性能的,我们不能将所有情况都设为DEBUG级别,过多的日志也不便于我们进行分析.
以下搬运了一些他人的经验,仅供参考:

1.使用DEBUG级别.
在开发调式阶段,通常使用debug级别日志.例如,我们想查看一个算法执行过程中,中间变量的详细变换过程.例如:

def complex_algorithm(items):
    for i, item in enumerate(items):
        # do some complex algorithm computation
        logger.debug('%s iteration, item=%s', i, item)

2.使用INFO级别
在web开发中,进行路由时输出info级别的日志.例如处理接受到的请求,服务器状态改变时等.

def handle_request(request):
    logger.info('Handling request %s', request)
    # handle request here
    result = 'result'
    logger.info('Return result: %s', result)
def start_service():
    logger.info('Starting service at port %s ...', port)
    service.start()
    logger.info('Service is started')


在一些比较重要的情形下可以输出warning级别的日志,例如,在用户登录输入的密码错误时,可以输出warning级别,此时需要引起注意,需查看是不是有人在蓄意进行暴力破旧等破坏操作.

3.使用WARNING级别

def authenticate(user_name, password, ip_address):
    if user_name != USER_NAME and password != PASSWORD:
        logger.warn('Login attempt to %s from IP %s', user_name, ip_address)
        return False
    # do authentication here

程序出现可预期的错误时,应当抛出一个错误日志.例如,数据库连接失败,IO读取出错等.4.使用ERROR级别

def get_user_by_id(user_id):
    user = db.read_user(user_id)
    if user is None:
        logger.error('Cannot find user with user_id=%s', user_id)
        return user
    return user

critical级别的日志,通常使用的很少,只有在极个别情况下才会使用到.例如配置文件解析出错,磁盘满,内存不够等.

5.使用CRITICAL级别

3.几个Tips

1.使用__name__作为logger的名字

logger = logging.getLogger(__name__)

2.捕获异常,并使用traceback记录异常的详细信息
在实践中就会发现,大部分情况下,仅仅输出大概的出错信息并不能定位到具体出错原因,使用traceback方便定位具体原因.例如:

try:
    open('/path/to/does/not/exist', 'rb')
except (SystemExit, KeyboardInterrupt):
    raise
except Exception, e:
    logger.error('Failed to open file', exc_info=True)

通过设置exc_info=True,则traceback信息会被输出到日志文件中.

import logging
import logging.handlers
logger = logging.getLogger(__name__)
logger.setLevel(logging.INFO)
# create a file handler
handler = logging.FileHandler('test.log')
handler.setLevel(logging.INFO)
# create a logging format
formatter = logging.Formatter('[%(levelname)s] %(asctime)s - %(filename)s:%(lineno)d  - %(message)s')
handler.setFormatter(formatter)
# add the handlers to the logger
logger.addHandler(handler)
try:
    open('/path/to/does/not/exist', 'rb')
except (SystemExit, KeyboardInterrupt):
    raise
except Exception, e:
    logger.error('Failed to open file', exc_info=True)

上述程序的日志输出信息如下:

[ERROR] 2015-06-27 21:32:24,127 - test.py:23  - Failed to open file
Traceback (most recent call last):
  File "/home/jay/ITService/apps/ITBots/ITBots/test.py", line 19, in <module>
    open('/path/to/does/not/exist', 'rb')
IOError: [Errno 2] No such file or directory: '/path/to/does/not/exist'


参考:
https://docs.python.org/2/howto/logging.html#logging-advanced-tutorial
http://victorlin.me/posts/2012/08/26/good-logging-practice-in-python
https://docs.python.org/2/howto/logging.htm
l

© 著作权归作者所有

共有 人打赏支持
小致dad
粉丝 116
博文 510
码字总数 556749
作品 0
济南
技术主管
VS Code 安装与使用,Python 顶级 IDE 编程指南!

介绍 Visual Studio Code (简称 VS Code / VSC) 是一款免费开源的现代化轻量级代码编辑器,支持几乎所有主流的开发语言的语法高亮、智能代码补全、自定义热键、括号匹配、代码片段、代码对比...

Python新世界
07/14
0
0
使用Logging Handler自动上传Python程序日志到日志服务

想要日志上云,又不想修改程序代码? 或者不希望进行相对复杂的客户端部署?那么您需要使用Logging Handler,现在Python程序也支持了! 概述 使用Python SDK提供的Log Handler可以实现每一条P...

成喆
04/13
0
0
Python系列英文原版电子书

【专题推荐】Python系列英文原版电子书 http://down.51cto.com/zt/104 python简明教程(CHM) http://down.51cto.com/data/49213 Linux黑客的python编程之道【pdf】推荐 http://down.51cto.co...

best_raven
2015/08/21
0
0
21个Python免豆资料下载地址汇总

为了方便大家学习,小弟最近整理了一批免豆下载的Python资料,共21个,整理了这批资料的下载地址,大家可以根据自己的需要选择性下载。希望大家喜欢~ Python灰帽子中文 http://down.51cto.co...

IT小白白
2012/07/30
0
0
80个Python经典资料(教程+源码+工具)汇总——下载目录

大家好,51CTO下载中心根据资料的热度和好评度收集了80个Python资料,分享给Python开发的同学。内容包括1个Python专题、66个学习资料、7套Python源码和6个相关软件。附件较多,无法一一分享,...

icheer
2012/07/02
0
0
RHEL 5下安装Scrapy-0.14.0.2841爬虫框架

Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很多企业用于生产环境。对于它的更多介绍,可以查阅相关资料(官方网站:www.scrapy.org)。 我们根据官网提...

durban
2012/04/30
0
0
《Python3.6官方文档》– 第一章

1. 开胃小菜 如果你有许多在电脑上的工作要做,并发现其中的任务一些是可以自动化的。 例如,你可能希望执行一个能够搜索并替换大量的文本文件程序,或者是有需要以一种复杂的方式去重命名和...

jowu
01/25
0
0
RHEL 8或将默认使用python3

Red Hat 宣布,它的企业级发行版 RHEL 下个大版本将用 Python 3 替代 Python 2。RHEL 刚刚发布了一个小版本 7.5,这意味着 8.0 版将正式移除 Python 2。Python 2.x 系列的最后版本 Python 2...

问题终结者
04/22
0
0
5本必读Python入门书籍,你都看过吗?(附福利)

今天技术学派为大家准备了5本Python入门书籍,除了书籍小编还整理了3个常用的资源网站分享给大家。 1.Python基础教程 《Python基础教程》是经典的Python入门教程书籍,本书层次鲜明,结构严谨...

Python燕大侠
06/07
0
0
LIEF:用于解析和修改 ELF, PE 和MachO 格式的跨平台库

  今天给大家介绍的是一款名叫LIEF的跨平台库,大家可利用LIEF来对ELF、PE和MachO格式的文件进行解析和修改。       主要功能   1.解析:LIEF能够解析ELF、PE和MachO格式,并给用户提...

FreeBuf
06/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

shell中的函数、shell中的数组、告警系统需求分析

shell中的函数 格式: 格式: function f_name() { command } 函数必须要放在最前面 示例1(用来打印参数) 示例2(用于定义加法) 示例3(用于显示IP) shell中的数组 shell中的数组1 定义数...

Zhouliang6
36分钟前
1
0
用 Scikit-Learn 和 Pandas 学习线性回归

      对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了。 1. 获取数据,定义问题     没有...

wangxuwei
58分钟前
0
0
MAC安装MAVEN

一:下载maven压缩包(Zip或tar可选),解压压缩包 二:打开终端输入:vim ~/.bash_profile(如果找不到该文件新建一个:touch ./bash_profile) 三:输入i 四:输入maven环境变量配置 MAVEN_HO...

WALK_MAN
今天
0
0
33.iptables备份与恢复 firewalld的9个zone以及操作 service的操作

10.19 iptables规则备份和恢复 10.20 firewalld的9个zone 10.21 firewalld关于zone的操作 10.22 firewalld关于service的操作 10.19 iptables规则备份和恢复: ~1. 保存和备份iptables规则 ~2...

王鑫linux
今天
1
0
大数据教程(2.11):keeperalived+nginx高可用集群搭建教程

上一章节博主为大家介绍了目前大型互联网项目的系统架构体系,相信大家应该注意到其中很重要的一块知识nginx技术,在本节博主将为大家分享nginx的相关技术以及配置过程。 一、nginx相关概念 ...

em_aaron
今天
0
0
Apache Directory Studio连接Weblogic内置LDAP

OBIEE默认使用Weblogic内置LDAP管理用户及组。 要整理已存在的用户及组,此前办法是导出安全数据,文本编辑器打开认证文件,使用正则表达式获取用户及组的信息。 后来想到直接用Apache Dire...

wffger
今天
2
0
HFS

FS,它是一种上传文件的软件。 专为个人用户所设计的 HTTP 档案系统 - Http File Server,如果您觉得架设 FTP Server 太麻烦,那么这个软件可以提供您更方便的档案传输系统,下载后无须安装,...

garkey
今天
1
0
Java IO类库之BufferedInputStream

一、BufferedInputStream介绍 /** * A <code>BufferedInputStream</code> adds * functionality to another input stream-namely, * the ability to buffer the input and to * sup......

老韭菜
今天
0
0
STM 32 窗口看门狗

http://bbs.elecfans.com/jishu_805708_1_1.html https://blog.csdn.net/a1985831055/article/details/77404131...

whoisliang
昨天
0
0
Dubbo解析(六)-服务调用

当dubbo消费方和提供方都发布和引用完成后,第四步就是消费方调用提供方。 还是以dubbo的DemoService举例 -- 提供方<dubbo:application name="demo-provider"/><dubbo:registry address="z...

青离
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部