Go如何处理zip中的中文文件名
博客专区 > chai2010 的博客 > 博客详情
Go如何处理zip中的中文文件名
chai2010 发表于4年前
Go如何处理zip中的中文文件名
  • 发表于 4年前
  • 阅读 1470
  • 收藏 16
  • 点赞 1
  • 评论 13

腾讯云 技术升级10大核心产品年终让利>>>   

Go的标准库已经自带了zip的库.

不过zip包在处理内部文件名时, 默认是utf8编码的. 对于Windows中文用户, 生成和读取zip内部文件名默认是GBK编码的. 因此, 在处理涉及GBK的文件名时需要做一个转换.

Go语言官方的 go.text 子标准库已经支持各种编码, 下面是utf8转GBK的函数:

import "golang.org/x/text/encoding/simplifiedchinese"

func utf8ToGBK(text string) (string, error) {
	dst := make([]byte, len(text)*2)
	tr := simplifiedchinese.GB18030.NewEncoder()
	nDst, _, err := tr.Transform(dst, []byte(text), true)
	if err != nil {
		return text, err
	}
	return string(dst[:nDst]), nil
}

在生成zip文件时, 用 utf8ToGBK 处理文件名:

func main() {
	file, err := os.Create("中文-测试.zip")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	wzip := zip.NewWriter(file)
	defer func() {
		if err := wzip.Close(); err != nil {
			log.Fatal(err)
		}
	}()

	// 压缩文件
	var files = []struct{ Name, Body string }{
		{"11/1/readme.txt", "UTF8 字符串."},
		{"11/1/readme2.txt", "This archive contains some text files."},
		{"汉字/2/gopher.txt", "Gopher names:\nGeorge\nGeoffrey\nGonzo"},
		{"11/中文.txt", "中文Get animal handling licence.\nWrite more examples."},
		{"空目录/", ""},
	}
	for _, file := range files {
		name, _ := utf8ToGBK(file.Name) // 文件名转换为 GBK编码
		f, err := wzip.Create(name)
		if err != nil {
			log.Fatal(err)
		}
		_, err = f.Write([]byte(file.Body))
		if err != nil {
			log.Fatal(err)
		}
	}
}

这样就可以生成Windows下带简体中文的文件名压缩文件了.

2014年补充:

其实在新的 zip规范 中, 已经对UTF8编码的文件名提供了支持.

File:    APPNOTE.TXT - .ZIP File Format Specification
Version: 6.3.3

4.4.4 general purpose bit flag: (2 bytes)

Bit 11: Language encoding flag (EFS).  If this bit is set,
	the filename and comment fields for this file
	MUST be encoded using UTF-8. (see APPENDIX D)

具体来说, 在每个文件的头信息的Flags字段的11bit位. 如果该bit位为0则表用本地编码(本地编码是GBK吗?), 如果是1则表示用UTF8编码.

头信息对应zip库的 archive/zip.FileHeader 结构的 Flags 成员:

type FileHeader struct {
	// Name is the name of the file.
	// It must be a relative path: it must not start with a drive
	// letter (e.g. C:) or leading slash, and only forward slashes
	// are allowed.
	Name string

	CreatorVersion     uint16
	ReaderVersion      uint16
	Flags              uint16
	Method             uint16
	ModifiedTime       uint16 // MS-DOS time
	ModifiedDate       uint16 // MS-DOS date
	CRC32              uint32
	CompressedSize     uint32 // deprecated; use CompressedSize64
	UncompressedSize   uint32 // deprecated; use UncompressedSize64
	CompressedSize64   uint64
	UncompressedSize64 uint64
	Extra              []byte
	ExternalAttrs      uint32 // Meaning depends on CreatorVersion
	Comment            string
}

如果想生成UTF8编码的文件名, 可以手工指定该字段:

func main() { file, err := os.Create("中文-测试.zip") if err != nil { log.Fatal(err) } defer file.Close()

wzip := zip.NewWriter(file)
defer func() {
	if err := wzip.Close(); err != nil {
		log.Fatal(err)
	}
}()

// 压缩文件
var files = []struct{ Name, Body string }{
	{"11/1/readme.txt", "UTF8 字符串."},
	{"11/1/readme2.txt", "This archive contains some text files."},
	{"汉字/2/gopher.txt", "Gopher names:\nGeorge\nGeoffrey\nGonzo"},
	{"11/中文.txt", "中文Get animal handling licence.\nWrite more examples."},
	{"空目录/", ""},
}
for _, file := range files {
	header := &zip.FileHeader{
		Name:   file.Name,
		Flags:  1 << 11, // 使用utf8编码
		Method: zip.Deflate,
	}
	f, err := wzip.CreateHeader(header)
	if err != nil {
		log.Fatal(err)
	}
	_, err = f.Write([]byte(file.Body))
	if err != nil {
		log.Fatal(err)
	}
}

}

其实, zip.Create 默认应该是假设文件名采用UTF8编码, 这样可以避免不同机器间本地编码不同导致的解码的问题. 针对该修改已经提交了 CL54360043, 目前还不清楚是否能够被接受.

不过比较遗憾的是Win7自带的zip浏览器始终是忽略该字段的(始终用本地编码处理).

共有 人打赏支持
chai2010
粉丝 397
博文 91
码字总数 79730
作品 8
评论 (13)
woooya
mahonia就好了
学习重要
生成也用UTF-8啊,不然你的zip在除了簡體中文的Windows的所有系統都會亂碼。
不支持UTF-8最大的阻力也就是Windows的自帶zip不支持UTF-8(不知道Windows 8/8.1解決了沒),但是國內誰沒個壓縮軟件啊,用Windows的。
chai2010

引用来自“doomsplayer”的评论

mahonia就好了

已经有了官方的go.text库, mahonia基本是被淘汰了.
chai2010

引用来自“学习重要”的评论

生成也用UTF-8啊,不然你的zip在除了簡體中文的Windows的所有系統都會亂碼。
不支持UTF-8最大的阻力也就是Windows的自帶zip不支持UTF-8(不知道Windows 8/8.1解決了沒),但是國內誰沒個壓縮軟件啊,用Windows的。

生成的zip文件主要是为了Windows中文环境下打开没有乱码, 不是为了仅仅给Go程序打开的.
学习重要

引用来自“chai2010”的评论

引用来自“学习重要”的评论

生成也用UTF-8啊,不然你的zip在除了簡體中文的Windows的所有系統都會亂碼。
不支持UTF-8最大的阻力也就是Windows的自帶zip不支持UTF-8(不知道Windows 8/8.1解決了沒),但是國內誰沒個壓縮軟件啊,用Windows的。

生成的zip文件主要是为了Windows中文环境下打开没有乱码, 不是为了仅仅给Go程序打开的.

正常的程序打開UTF-8的zip都不會亂碼...包括7-zip,WinRAR,WinZip,國產壓縮軟件相信更加不會...

只是MSFT的zip支持是壞的,之前有MSFT員工在msdn blog上吐嘈,現在那個blog被MSFT河蟹了好像。
学习重要
我說的MSFT員工是Michael S. Kaplan,他的推特:https://twitter.com/michkap

另外MSFT似乎也在改進對UTF-8的zip的支持,雖然XP肯定沒戲:http://support.microsoft.com/kb/2704299/en-us
woooya

引用来自“chai2010”的评论

引用来自“doomsplayer”的评论

mahonia就好了

已经有了官方的go.text库, mahonia基本是被淘汰了.

这样啊。。孤陋寡闻了
chai2010
Go创建中文zip Windows下乱码的问题, 重新提交了补丁:
https://go-review.googlesource.com/#/c/9381/

不过 win7 的本地zip 解压是有bug的, 不支持utf8的标志位.
这里有个微软的补丁:
http://support.microsoft.com/zh-cn/kb/2704299

但是对中文好像没效果...
chai2010

引用来自“学习重要”的评论

我說的MSFT員工是Michael S. Kaplan,他的推特:https://twitter.com/michkap

另外MSFT似乎也在改進對UTF-8的zip的支持,雖然XP肯定沒戲:http://support.microsoft.com/kb/2704299/en-us
这个补丁安装上好像没效果...
第三方支付接口
生成成功,感谢大大!
chai2010
暂时放弃了 CL, 原因是这个CL强制启用utf8编码, 这样会导致无法生成gbk编码的zip.
我创建了一个issue讨论这个:
https://github.com/golang/go/issues/10741

希望能够增加2个函数, 用于支持任意的本地编码(不仅仅是gbk).
Meteormatt
Golang 1.9会自动处理了。不需要加Flags了
https://github.com/golang/go/commit/0a3f3e166d702f477863a5260779fa0357c72302
chai2010

引用来自“Meteormatt”的评论

Golang 1.9会自动处理了。不需要加Flags了
https://github.com/golang/go/commit/0a3f3e166d702f477863a5260779fa0357c72302
感谢告知
×
chai2010
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: