MySQL 8.0 引入 innodb_flush_method 等新参数的系统调用分析

原创
01/30 09:50
阅读数 194

本文我们将讨论如何在操作系统级别验证 innodb_flush_methodinnodb_use_fdatasync 修改为默认值之外的其它值(特别是 O_DIRECT 是最常用的)后的效果。

介绍

首先,让我们定义该 innodb_flush_method 参数的作用。它规定了 InnoDB 如何管理数据刷新到磁盘的行为。文章不会详细说明每个有效值的作用,更多详细介绍请查看参数值文档

有效值如下(仅限 Unix):

  • fsync
  • O_DSYNC
  • littlesync
  • nosync
  • O_DIRECT
  • O_DIRECT_NO_FSYNC

如前所述,我们将重点关注 O_DIRECT。作为最佳实践的一部分,我们建议选择 O_DIRECT 避免双缓冲,绕过操作系统缓存,从而提高写入数据时的性能。下面是从官方文档中摘录的 InnoDB 架构:

在支持 fdatasync() 的平台上执行系统调用(System calls,以下简称 Syscalls),MySQL 8.0.26 中引入的 innodb_use_fdatasync 变量允许使用 innodb_flush_method 选项来替代。除非后续数据检索需要,否则系统调用不会刷新对文件元数据的更改,从而提供潜在的性能优势。

要操作文件,MySQL 和任何其他软件都必须调用 Syscalls。每当进程需要系统资源时,它都会通过 Syscalls 向内核发送对该资源的请求。从较高层次来看,系统调用是内核向用户应用程序提供的“服务”。它们类似于库 API,被描述为具有名称、参数和返回值的函数调用。下图是此过程的高级说明:

问题:为什么不直接访问我们想要的资源(内存、磁盘等)?

这是因为 Linux 将进程的执行分为两个空间。用户运行的进程(一般称为用户空间进程)依赖于内核提供的服务。内核是操作系统的一个特定部分,它以特权运行模式处理各种低级操作。这里详细描述了用户空间和内核空间的概念。如果应用程序可以直接读写内核的地址空间,系统的安全性和稳定性就会受到影响。在给定的场景中,一个进程能够访问另一进程的内存区域。这表明内存隔离存在潜在问题,并可能导致安全漏洞。

问题:如何检查我的操作系统是否支持特定的 Syscalls?

$ man syscalls

它将列出可用的 Syscalls 以及其中出现的 Linux 内核。

验证

我们将使用 strace 实用程序和 /proc/<pid>/fdinfo/<fdinfo> 中提供的信息来证明前面描述的理论。首先,我将使用默认设置启动一个 MySQL 8.0.33 实例。

mysqld 我们可以通过检查 /proc/<pid>/fd/ 列出进程打开的文件:

$ ls -l /proc/12006/fd/
total 0
lr-x------. 1 vinicius.grippa percona 64 Jan 15 16:59 0 -> /dev/null
l-wx------. 1 vinicius.grippa percona 64 Jan 15 16:59 1 -> /home/vinicius.grippa/sandboxes/msb_8_0_33/data/msandbox.err
...
lrwx------. 1 vinicius.grippa percona 64 Jan 15 16:59 9 -> /home/vinicius.grippa/sandboxes/msb_8_0_33/data/#ib_16384_1.dblwr

我们可以通过运行这个命令,来检查每个文件描述符 cat /proc/<pid>/fdinfo/<file descriptor number>

$ cat /proc/12006/fdinfo/9
pos: 0
flags: 0100002
mnt_id: 69
lock: 1: POSIX  ADVISORY  WRITE 12006 fd:06:32640985 0 EOF

我们对八进制数表示的标志描述感兴趣。要解释这些标志,我们可以使用 GitHub 中的 fdflags 存储库或在 shell 中使用以下命令:

$ for flag in APPEND ASYNC CLOEXEC CREAT DIRECT DIRECTORY DSYNC EXCL LARGEFILE NOATIME  NOCTTY NOFOLLOW NONBLOCK PATH RDWR SYNC TMPFILE TRUNC; do printf '%s: ' O_${flag}; echo O_${flag} | gcc -D_GNU_SOURCE -include fcntl.h -E - | tail -n 1; done

并使用 fdflags 项目来避免手动工作:

fdinfo_directory="/proc/46211/fdinfo/"
fd_directory="/proc/46211/fd/"
for fd in $(ls ${fdinfo_directory}); do
    echo "Processing file descriptor ${fd}" &&
    # Read the symbolic link to find out the file name
    file_name=$(readlink "${fd_directory}${fd}")
    echo "File Name: $file_name"
    ./fdflags "${fdinfo_directory}${fd}"        
done
# Output

Processing file descriptor 5
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest79.ibd
O_LARGEFILE
O_RDWR
...
Processing file descriptor 99
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest89.ibd
O_LARGEFILE
O_RDWR

输出显示文件描述符编号、文件名以及打开时应用于该文件的标志。

接下来,我们可以确认 MySQL 正在使用 stracefsync() 来写入数据:

# Attaching strace to the mysqld process
$ strace -f -c  -o ./strace.out -p <pid>
# Once you exit strace (CTRL+C), a summary of syscalls is written in the strace.out file
$ cat strace.out
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 45.38  222.980851        1158    192526     50579 futex
 27.50  135.114996      134309      1006           io_getevents
  5.90   28.997398     1933159        15        12 restart_syscall
  5.69   27.970912      537902        52           nanosleep
  5.32   26.117827         122    213323      2088 read
  3.86   18.968682         172    109744           write
  3.00   14.731474     1133190        13           epoll_wait
  1.13    5.565184         574      9688           fsync
  0.82    4.050227         134     30132           clock_gettime
  0.61    2.974088         148     20089           pwrite64
  0.47    2.311729         708      3264           fdatasync
...
  0.00    0.000270         135         2           rename
  0.00    0.000256          32         8           close
------ ----------- ----------- --------- --------- ----------------
100.00  491.324073                590620     52679 total

即使没有启用 innodb_use_fdatasync,您也会在 strace 输出中注意到 Syscalls。当 sync_binlog >0 时,系统调用默认被二进制日志使用。我们可以在 strace 中确认:

$ strace -f  -s2048  -yy  -o ./strace.out -p <pid>
...
47252 fdatasync(70</home/vinicius.grippa/sandboxes/msb_8_0_33/data/binlog.000026> <unfinished ...>

建议:尝试设置 sync_binlog=0 并检查 fdatasync() 执行时,MySQL 是否仍然请求系统调用来获取二进制日志。

现在,我们将向 MySQL 添加以下设置并重新启动实例:

[mysqld]
innodb_flush_method=O_DIRECT
innodb_use_fdatasync = ON

再次检查,我们可以看到 O_DIRECT 文件中添加了一个新标志 :

Processing file descriptor 96
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest112.ibd
O_LARGEFILE
O_RDWR
O_DIRECT
…
Processing file descriptor 99
File Name: /home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest94.ibd
O_LARGEFILE
O_RDWR
O_DIRECT

并使用 strace 检查,我们将使用以下命令看到我们的表文件(*.ibd):

$ strace -f  -s2048  -yy  -o ./strace.out -p 20498
...
20551 fdatasync(48</home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest23.ibd> <unfinished ...>
20551 fdatasync(26</home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest5.ibd> <unfinished ...>
20550 fdatasync(34</home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest15.ibd> <unfinished ...>
20550 fdatasync(24</home/vinicius.grippa/sandboxes/msb_8_0_33/data/test/sbtest1.ibd> <unfinished ...>

结论

我们研究了 InnoDB 数据刷新机制的技术细微差别以及它们如何与操作系统交互。innodb_flush_method 我们可以通过调整参数和 .sql 文件 innodb_use_fdatasync 来了解优化 MySQL 性能的细节。

我们使用 strace 实用程序进行的实验以及检查文件描述符的实验 /proc/<pid>/fdinfo/ 提供了调整这些设置时行为发生变化的具体证据。使用可以带来更高效的数据写入操作。此外,MySQL 8.0.26 中的引入及其 在特定场景中的偏好说明了 MySQL 的不断发展,以利用特定的系统调用优势来提高性能。

更多技术文章,请访问:https://opensource.actionsky.com/

关于 SQLE

SQLE 是一款全方位的 SQL 质量管理平台,覆盖开发至生产环境的 SQL 审核和管理。支持主流的开源、商业、国产数据库,为开发和运维提供流程自动化能力,提升上线效率,提高数据质量。

SQLE 获取

类型 地址
版本库 https://github.com/actiontech/sqle
文档 https://actiontech.github.io/sqle-docs/
发布信息 https://github.com/actiontech/sqle/releases
数据审核插件开发文档 https://actiontech.github.io/sqle-docs/docs/dev-manual/plugins/howtouse
展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部