MySQL慢日志查询分析方法与工具

2020/03/16 13:41
阅读数 869

MySQL中的日志包括:错误日志、二进制日志、通用查询日志、慢查询日志等等。这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志。

1)通用查询日志:记录建立的客户端连接和执行的语句。

2)慢查询日志:记录所有执行时间超过long_query_time秒的所有查询或者不使用索引的查询

MySQL日志文件系统的组成

  •    a、错误日志:记录启动、运行或停止mysqld时出现的问题。
  •    b、通用日志:记录建立的客户端连接和执行的语句。
  •    c、更新日志:记录更改数据的语句。该日志在MySQL 5.1中已不再使用。
  •    d、二进制日志:记录所有更改数据的语句。还用于复制。
  •    e、慢查询日志:记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询。
  •    f、Innodb日志:innodb redo log

 缺省情况下,所有日志创建于mysqld数据目录中。
   可以通过刷新日志,来强制mysqld来关闭和重新打开日志文件(或者在某些情况下切换到一个新的日志)。
   当你执行一个FLUSH LOGS语句或执行mysqladmin flush-logs或mysqladmin refresh时,则日志被老化。
   对于存在MySQL复制的情形下,从复制服务器将维护更多日志文件,被称为接替日志。
同大多数关系型数据库一样,日志文件是MySQL数据库的重要组成部分。MySQL有几种不同的日志文件,通常包括错误日志文件,二进制日志,通用日志,慢查询日志,等等。这些日志可以帮助我们定位mysqld内部发生的事件,数据库性能故障,记录数据的变更历史,用户恢复数据库等等。今天我们要讲的是如何分析和查询mysql慢日志(主要影响程序调用和前端数据呈现)。

mysql slow log 是用来记录执行时间较长(超过long_query_time秒)的sql的一种日志工具
 

启用 slow log

有两种启用方式:
1, 在my.cnf 里 通过 log-slow-queries[=file_name]
2, 在mysqld进程启动时,指定--log-slow-queries[=file_name]选项
比较的五款常用工具

  • mysqldumpslow
  • mysqlsla
  • myprofi
  • mysql-explain-slow-log
  • mysqllogfilter

开源的MySQL慢日志查询监控工具

  • pmm server
  • Navicat
  • mysqltop(天兔Lepus)
  • Box Anemometer
  • explain
  • pt-query-digest

慢查询日志
   慢查询日志是将mysql服务器中影响数据库性能的相关SQL语句记录到日志文件,通过对这些特殊的SQL语句分析,改进以达到提高数据库性能的目的。
   通过使用--slow_query_log[={0|1}]选项来启用慢查询日志。所有执行时间超过long_query_time秒的SQL语句都会被记录到慢查询日志。
   缺省情况下hostname-slow.log为慢查询日志文件安名,存放到数据目录,同时缺省情况下未开启慢查询日志。
   缺省情况下数据库相关管理型SQL(比如OPTIMIZE TABLE、ANALYZE TABLE和ALTER TABLE)不会被记录到日志。
   对于管理型SQL可以通过--log-slow-admin-statements开启记录管理型慢SQL。
   mysqld在语句执行完并且所有锁释放后记入慢查询日志。记录顺序可以与执行顺序不相同。获得初使表锁定的时间不算作执行时间。
   
   可以使用mysqldumpslow命令获得日志中显示的查询摘要来处理慢查询日志。
   用查询缓存处理的查询不加到慢查询日志中,表有零行或一行而不能从索引中受益的查询也不写入慢查询日志。
   MySQL服务器按以下顺序记录SQL是否写入到慢查询日志
  a. The query must either not be an administrative statement, or --log-slow-adminstatements must have been specified.
 b. The query must have taken at least long_query_time seconds, or log_queries_not_using_indexes must be enabled and the query used no indexes for row lookups.
    c. The query must have examined at least min_examined_row_limit rows.
 d. The query must not be suppressed according to the log_throttle_queries_not_using_indexes setting.

mysqldumpslow是mysql自带的用来分析慢查询的工具,当然不止这一种工具,还有percona-toolkit是percona公司出的一组命令行工具的集合,用来执行各种通过手工执行非常复杂和麻烦的mysql相关任务,包含以下内容:

检查master和slave数据一致性/记录有效的归档/服务器信息汇总/分析和统计日志,为了省事这块使用mysqldumpslow命令做分析。

需要开启mysql的慢查询日志,否则无法进行统计分析,开启mysql慢查询日志需要在mysql的配置文件中进行如下配置:
    
slow_query_log=1#定义超过1秒的查询计数到变量Slow_queries
slow-query-log-file=mysql-slow.log
long_query_time=1

1.1 简介

开启慢查询日志,可以让MySQL记录下查询超过指定时间的语句,通过定位分析性能的瓶颈,才能更好的优化数据库系统的性能。

1.2 登录数据库查看

[root@localhost lib]# mysql –uroot

因为没有设置设置密码,有密码的在 mysql –uroot –p 接密码

1.2.1 进入MySql 查询是否开了慢查询

    mysql> show variables like 'slow_query%';
     
    +---------------------+--------------------------------------------+
     
    | Variable_name    | Value                   |
     
    +---------------------+--------------------------------------------+
     
    | slow_query_log   | OFF                    |
     
    | slow_query_log_file | /application/mysql/data/localhost-slow.log |
     
    +---------------------+--------------------------------------------+
     
    2 rows in set (0.00 sec)

参数说明:

    slow_query_log 慢查询开启状态  OFF 未开启 ON 为开启
    slow_query_log_file 慢查询日志存放的位置(这个目录需要MySQL的运行帐号的可写权限,一般设置为MySQL的数据存放目录)

1.2.2 查看慢查询超时时间

    mysql> show variables like 'long%';
     
    +-----------------+-----------+
     
    | Variable_name  | Value   |
     
    +-----------------+-----------+
     
    | long_query_time | 10.000000 |
     
    +-----------------+-----------+
     
    1 row in set (0.00 sec)

long_query_time 查询超过多少秒才记录   默认10秒 修改为1秒

1.3 修改方法1:(不推荐)

方法一:优点临时开启慢查询,不需要重启数据库  缺点:MySql 重启慢查询失效

推荐:根据业务需求,建议使用第二种,临时可以用第一种

默认情况下slow_query_log的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log的值来开启,如下所示::是否开启慢查询日志,1表示开启,0表示关闭。

1.3.1 查看是否开启慢查询

    mysql> show variables like '%slow_query_log%';
     
    +---------------------+--------------------------------------------+
     
    | Variable_name    | Value                   |
     
    +---------------------+--------------------------------------------+
     
    | slow_query_log   | OFF                    |
     
    | slow_query_log_file | /application/mysql/data/localhost-slow.log |
     
    +---------------------+--------------------------------------------+
     
    2 rows in set (0.01 sec)

输入 语句修改(重启后失效,建议在/etc/my.cnf中修改永久生效)

    mysql> set global slow_query_log=1;
     
    Query OK, 0 rows affected (0.11 sec)

1.3.2 再次查看

    mysql> show variables like '%slow_query_log%';
     
    +---------------------+--------------------------------------------+
     
    | Variable_name    | Value                   |
     
    +---------------------+--------------------------------------------+
     
    | slow_query_log   | ON                     |
     
    | slow_query_log_file | /application/mysql/data/localhost-slow.log |
     
    +---------------------+--------------------------------------------+
     
    2 rows in set (0.00 sec)

1.4 修改方法2:(推荐)

修改 MySql 慢查询,好多人不知道my.cnf 路径,可以用 find 查找

备注:我的MySQL 是编译的 路径为 /etc/my.cnf (一般都是这里)

[root@localhost log]# find / -type f -name "my.cnf"

/application/mysql-5.5.51/mysql-test/suite/rpl/my.cnf

/application/mysql-5.5.51/mysql-test/suite/federated/my.cnf

/application/mysql-5.5.51/mysql-5.5.51-linux2.6-x86_64/mysql-test/suite/rpl/my.cnf

/application/mysql-5.5.51/mysql-5.5.51-linux2.6-x86_64/mysql-test/suite/federated/my.cnf

/etc/my.cnf  ###(一般都是这里)

1.4.1.1 修改

[root@localhost log]# vim /etc/my.cnf

找到 [mysqld] 下面添加

slow_query_log =1

slow_query_log_file=/application/mysql/data/localhost-slow.log

long_query_time = 1

参数说明:

    slow_query_log 慢查询开启状态  1 为开启
    slow_query_log_file 慢查询日志存放的位置
    long_query_time 查询超过多少秒才记录   默认10秒 修改为1秒

修改完重启MySQL

1.5 查看、测试

1.5.1.1 插入一条测试慢查询

    mysql> select sleep(2);
     
    +----------+
     
    | sleep(2) |
     
    +----------+
     
    |    0 |
     
    +----------+
     
    1 row in set (2.00 sec)

1.5.1.2 查看慢查询日志

[root@localhost data]# cat /application/mysql/data/localhost-slow.log

/application/mysql/bin/mysqld, Version: 5.5.51-log (MySQL Community Server (GPL)). started with:

Tcp port: 3306 Unix socket: /tmp/mysql.sock

Time         Id Command  Argument

/application/mysql/bin/mysqld, Version: 5.5.51-log (MySQL Community Server (GPL)). started with:

Tcp port: 3306 Unix socket: /tmp/mysql.sock

Time         Id Command  Argument

/application/mysql/bin/mysqld, Version: 5.5.51-log (MySQL Community Server (GPL)). started with:

Tcp port: 3306 Unix socket: /tmp/mysql.sock

Time         Id Command  Argument

# Time: 170605 6:37:00

# User@Host: root[root] @ localhost []

# Query_time: 2.000835 Lock_time: 0.000000 Rows_sent: 1 Rows_examined: 0

SET timestamp=1496615820;

select sleep(2);

1.5.1.3 通过MySQL命令查看有多少慢查询

    mysql> show global status like '%Slow_queries%';
     
    +---------------+-------+
     
    | Variable_name | Value |
     
    +---------------+-------+
     
    | Slow_queries | 1   |
     
    +---------------+-------+
     
    1 row in set (0.00 sec)
     

1.6 日志分析工具mysqldumpslow

在生产环境中,如果要手工分析日志,查找、分析SQL,显然是个体力活,MySQL提供了日志分析工具mysqldumpslow

MySQL 慢查询日志分析

mysql> show variables like '%slow%';
+---------------------+-------------------------+
| Variable_name       | Value                    |
+---------------------+-------------------------+
| log_slow_queries    | ON                        |
| slow_launch_time    | 2                          |
| slow_query_log      | ON                         |
| slow_query_log_file | D:/log/slow.txt       |
+---------------------+-------------------------+

其中,各参数说明如下:

slow_launch_time: 慢查询超过的执行时间值

 slow_query_log: 是否打开慢查询日志功能

show_query_log_file:慢查询日志目录  

开启慢查询日志功能:

mysql配置文件(win mysql.ini linux mysql.conf)下,

[mysqld]

log-slow-queries ="D:/xampp/mysql/long.txt"
long_query_time = 1
log-slow-queries=/var/lib/mysql/slowquery.log (指定日志文件存放位置,可以为空,系统会给一个缺省的文件host_name-slow.log)
long_query_time=2 (记录超过的时间,默认为10s)
log-queries-not-using-indexes (log下来没有使用索引的query,可以根据情况决定是否开启)
log-long-format (如果设置了,所有没有使用索引的查询也将被记录)
————————————————
版权声明:本文为CSDN博主「天府云创」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/enweitech/article/details/80239189

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部