文档章节

10分钟学会理解和解决MySQL乱码问题

 爱尚论坛
发布于 2015/03/24 11:34
字数 1249
阅读 3
收藏 0

  MySQL出现乱码的原因

  要了解为什么会出现乱码,我们就先要理解:从客户端发起请求,到MySQL存储数据,再到下次从表取回客户端的过程中,哪些环节会有编码/解码的行为。为了更好的解释这个过程,博主制作了两张流程图,分别对应存入和取出两个阶段。

  存入MySQL经历的编码转换过程

  mysqlflow

  上图中有3次编码/解码的过程(红色箭头)。三个红色箭头分别对应:客户端编码,MySQL Server解码,Client编码向表编码的转换。其中Terminal可以是一个Bash,一个web页面又或者是一个APP。本文中我们假定Bash是我们的Terminal,即用户端的输入和展示界面。图中每一个框格对应的行为如下:

  在terminal中使用输入法输入

  terminal根据字符编码转换成二进制流

  二进制流通过MySQL客户端传输到MySQL Server

  Server通过character-set-client解码

  判断character-set-client和目标表的charset是否一致

  如果不一致则进行一次从client-charset到table-charset的一次字符编码转换

  将转换后的字符编码二进制流存入文件中

  从MySQL表中取出数据经历的编码转换过程

  mysqlflow

  上图有3次编码/解码的过程(红色箭头)。上图中三个红色箭头分别对应:客户端解码展示,MySQL Server根据character-set-client编码,表编码向character-set-client编码的转换。

  从文件读出二进制数据流

  用表字符集编码进行解码

  将数据转换为character-set-client的编码

  使用character-set-client编码为二进制流

  Server通过网络传输到远端client

  client通过bash配置的字符编码展示查询结果

  造成MySQL乱码的原因

  1. 存入和取出时对应环节的编码不一致

  这个会造成乱码是显而易见的。我们把存入阶段的三次编解码使用的字符集编号为C1,C2,C3(图一从左到右);取出时的三个字符集依次编号为C1’,C2’,C3’(从左到右)。那么存入的时候bash C1用的是UTF-8编码,取出的时候,C1'我们却使用了windows终端(默认是GBK编码),那么结果几乎一定是乱码。又或者存入MySQL的时候set names utf8(C2),而取出的时候却使用了set names gbk(C2'),那么结果也必然是乱码

  2. 单个流程中三步的编码不一致

  即上面任意一幅图中的同方向的三步中,只要两步或者两部以上的编码有不一致就有可能出现编解码错误。如果差异的两个字符集之间无法进行无损编码转换(下文会详细介绍),那么就一定会出现乱码。例如:我们的shell是UTF8编码,MySQL的character-set-client配置成了GBK,而表结构却又是charset=utf8,那么毫无疑问的一定会出现乱码。

  这里我们就简单演示下这种情况

  view sourceprint?

  master [localhost] {msandbox} (test) > create table charset_test_utf8 (id int primary key auto_increment, char_col varchar(50)) charset = utf8;

  Query OK, 0 rows affected (0.04 sec)

  master [localhost] {msandbox} (test) > set names gbk;

  Query OK, 0 rows affected (0.00 sec)

  master [localhost] {msandbox} (test) > insert into charset_test_utf8 (char_col) values ('中文');

  Query OK, 1 row affected, 1 warning (0.01 sec)

  master [localhost] {msandbox} (test) > show warnings;

  +---------+------+---------------------------------------------------------------------------+

  | Level   | Code | Message                                                                   |

  +---------+------+---------------------------------------------------------------------------+

  | Warning | 1366 | Incorrect string value: '\xAD\xE6\x96\x87' for column 'char_col' at row 1 |

  +---------+------+---------------------------------------------------------------------------+

  1 row in set (0.00 sec)

  master [localhost] {msandbox} (test) > select id,hex(char_col),char_col from charset_test_utf8;

  +----+----------------+----------+

  | id | hex(char_col)  | char_col |

  +----+----------------+----------+

  |  1 | E6B6933FE69E83 | ????        |

  +----+----------------+----------+

  1 row in set (0.01 sec)

  关于MySQL的编/解码

  既然系统之间是按照二进制流进行传输的,那直接把这串二进制流直接存入表文件就好啦。为什么在存储之前还要进行两次编解码的操作呢?

  Client to Server的编解码的原因是MySQL需要对传来的二进制流做语法和词法解析。如果不做编码解析和校验,我们甚至没法知道传来的一串二进制流是insert还是update。

  File to Engine的编解码是为知道二进制流内的分词情况。武汉市哪里看精神分裂好举个简单的例子:我们想要从表里取出某个字段的前两个字符,执行了一句形如select left(col,2) from table的语句,存储引擎从文件读入该column的值是E4B8ADE69687。那么这个时候如果我们按照GBK把这个值分割成E4B8,ADE6,9687三个字,并那么返回客户端的值就应该是E4B8ADE6;如果按照UTF8分割成E4B8AD,E69687,那么就应该返回E4B8ADE69687两个字。可见,如果在从数据文件读入数据后,不进行编解码的话在存储引擎内部是无法进行字符级别的操作的。

http://www.fnb.hk/blog/space.php?uid=34121&do=blog&id=315468

© 著作权归作者所有

粉丝 0
博文 22
码字总数 18644
作品 0
武汉
私信 提问
FaceBook专家:10分钟彻底解决MySQL乱码问题?

本文由【DBA+社群】原创专家卢钧轶为大家较为详细的介绍字符集,字符编码, MySQL乱码的成因和具体的解决方案。 目录 Part 1 字符集和字符编码 · 什么是字符集 · 什么是字符编码 · UTF-8和...

卢钧轶
2016/01/08
0
0
DICOM:fo-dicom、dcm4che14、dcm4chee等开源库持续自我维护

版权声明:本文为zssure原创文章,转载请注明出处,未经允许不得转载。 https://blog.csdn.net/zssureqh/article/details/51926908 题记: DICOM专栏系列虽然写了多年,但是依然不能解决大家...

zssure
2016/07/16
0
0
MySQL中出现乱码问题的终极解决宝典

MySQL中出现乱码问题的终极解决宝典 这篇文章主要介绍了MySQL中出现乱码问题的终极解决宝典,包括编码转换和SQL数据进出等方面,无比给力,极力推荐这篇精华翻译!需要的朋友可以参考下 MySQL出现...

xiaocao13140
2018/06/04
0
0
开拓者ubuntu DVD中文定制版 2.0 Final

版本号: 开拓者ubuntu 9.10中文定制版DVD-V2.0 最新一次修改: 2010年3月8号 文件大小:840.98MB 内核版本:2.6.31 SHA1:3C62D45B239E1BEE2F5F690CC00DAAF8FAA9B530 下载地址: http://u.1...

小编辑
2010/03/08
1K
0
IDE中显示 *.properties 为中文

之前做过几个开源项目(极速开发微信公众号weixinguide以及IJPay 让支付触手可及),Demo中有涉及到一些配置文件。有些同学下载了之后反馈说有乱码。一个一个的耐心去回复很浪费时间以及精力现...

Javen205
2017/08/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

32位与64位Linux系统下各类型长度对比

64 位的优点:64 位的应用程序可以直接访问 4EB 的内存和文件大小最大达到4 EB(2 的 63 次幂);可以访问大型数据库。本文介绍的是64位下C语言开发程序注意事项。 1. 32 位和 64 位C数据类型...

mskk
10分钟前
2
0
Vue 实现点击空白处隐藏某节点(三种方式:指令、普通、遮罩)

在项目中往往会有这样的需求: 弹出框(或Popover)在 show 后,点击空白处可以将其 hide。 针对此需求,整理了三种实现方式,大家按实际情况选择。 当然,我们做项目肯定会用到 UI 框架,常...

张兴华ZHero
17分钟前
2
0
SpringBoot激活profiles你知道几种方式?

多环境是最常见的配置隔离方式之一,可以根据不同的运行环境提供不同的配置信息来应对不同的业务场景,在SpringBoot内支持了多种配置隔离的方式,可以激活单个或者多个配置文件。 激活Profi...

恒宇少年
18分钟前
3
0
PDF修改文字的方法有哪些?怎么修改PDF文件中的文字

PDF修改文字一直以来都是一个难以解决的问题,很多的办公族在办公的时候会有修改PDF文件中的文字的需要,可是PDF文件一般是不能进行编辑和修改的,难道就没有什么办法解决这个问题了嘛?不要...

趣味办公社
21分钟前
2
0
企业组织中采用服务网格的挑战

作者:Christian Posta 译者:罗广明 原文:https://blog.christianposta.com/challenges-of-adopting-service-mesh-in-enterprise-organizations/ 编者按 本文作者介绍了企业组织采用服务网...

jimmysong
31分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部