文档章节

Go如何处理zip中的中文文件名

chai2010
 chai2010
发布于 2013/12/20 11:46
字数 770
阅读 1590
收藏 16

Go的标准库已经自带了zip的库.

不过zip包在处理内部文件名时, 默认是utf8编码的. 对于Windows中文用户, 生成和读取zip内部文件名默认是GBK编码的. 因此, 在处理涉及GBK的文件名时需要做一个转换.

Go语言官方的 go.text 子标准库已经支持各种编码, 下面是utf8转GBK的函数:

import "golang.org/x/text/encoding/simplifiedchinese"

func utf8ToGBK(text string) (string, error) {
	dst := make([]byte, len(text)*2)
	tr := simplifiedchinese.GB18030.NewEncoder()
	nDst, _, err := tr.Transform(dst, []byte(text), true)
	if err != nil {
		return text, err
	}
	return string(dst[:nDst]), nil
}

在生成zip文件时, 用 utf8ToGBK 处理文件名:

func main() {
	file, err := os.Create("中文-测试.zip")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	wzip := zip.NewWriter(file)
	defer func() {
		if err := wzip.Close(); err != nil {
			log.Fatal(err)
		}
	}()

	// 压缩文件
	var files = []struct{ Name, Body string }{
		{"11/1/readme.txt", "UTF8 字符串."},
		{"11/1/readme2.txt", "This archive contains some text files."},
		{"汉字/2/gopher.txt", "Gopher names:\nGeorge\nGeoffrey\nGonzo"},
		{"11/中文.txt", "中文Get animal handling licence.\nWrite more examples."},
		{"空目录/", ""},
	}
	for _, file := range files {
		name, _ := utf8ToGBK(file.Name) // 文件名转换为 GBK编码
		f, err := wzip.Create(name)
		if err != nil {
			log.Fatal(err)
		}
		_, err = f.Write([]byte(file.Body))
		if err != nil {
			log.Fatal(err)
		}
	}
}

这样就可以生成Windows下带简体中文的文件名压缩文件了.

2014年补充:

其实在新的 zip规范 中, 已经对UTF8编码的文件名提供了支持.

File:    APPNOTE.TXT - .ZIP File Format Specification
Version: 6.3.3

4.4.4 general purpose bit flag: (2 bytes)

Bit 11: Language encoding flag (EFS).  If this bit is set,
	the filename and comment fields for this file
	MUST be encoded using UTF-8. (see APPENDIX D)

具体来说, 在每个文件的头信息的Flags字段的11bit位. 如果该bit位为0则表用本地编码(本地编码是GBK吗?), 如果是1则表示用UTF8编码.

头信息对应zip库的 archive/zip.FileHeader 结构的 Flags 成员:

type FileHeader struct {
	// Name is the name of the file.
	// It must be a relative path: it must not start with a drive
	// letter (e.g. C:) or leading slash, and only forward slashes
	// are allowed.
	Name string

	CreatorVersion     uint16
	ReaderVersion      uint16
	Flags              uint16
	Method             uint16
	ModifiedTime       uint16 // MS-DOS time
	ModifiedDate       uint16 // MS-DOS date
	CRC32              uint32
	CompressedSize     uint32 // deprecated; use CompressedSize64
	UncompressedSize   uint32 // deprecated; use UncompressedSize64
	CompressedSize64   uint64
	UncompressedSize64 uint64
	Extra              []byte
	ExternalAttrs      uint32 // Meaning depends on CreatorVersion
	Comment            string
}

如果想生成UTF8编码的文件名, 可以手工指定该字段:

func main() { file, err := os.Create("中文-测试.zip") if err != nil { log.Fatal(err) } defer file.Close()

wzip := zip.NewWriter(file)
defer func() {
	if err := wzip.Close(); err != nil {
		log.Fatal(err)
	}
}()

// 压缩文件
var files = []struct{ Name, Body string }{
	{"11/1/readme.txt", "UTF8 字符串."},
	{"11/1/readme2.txt", "This archive contains some text files."},
	{"汉字/2/gopher.txt", "Gopher names:\nGeorge\nGeoffrey\nGonzo"},
	{"11/中文.txt", "中文Get animal handling licence.\nWrite more examples."},
	{"空目录/", ""},
}
for _, file := range files {
	header := &zip.FileHeader{
		Name:   file.Name,
		Flags:  1 << 11, // 使用utf8编码
		Method: zip.Deflate,
	}
	f, err := wzip.CreateHeader(header)
	if err != nil {
		log.Fatal(err)
	}
	_, err = f.Write([]byte(file.Body))
	if err != nil {
		log.Fatal(err)
	}
}

}

其实, zip.Create 默认应该是假设文件名采用UTF8编码, 这样可以避免不同机器间本地编码不同导致的解码的问题. 针对该修改已经提交了 CL54360043, 目前还不清楚是否能够被接受.

不过比较遗憾的是Win7自带的zip浏览器始终是忽略该字段的(始终用本地编码处理).


https://chai2010.cn/

© 著作权归作者所有

共有 人打赏支持
chai2010

chai2010

粉丝 417
博文 99
码字总数 81569
作品 10
武汉
程序员
加载中

评论(13)

chai2010
chai2010

引用来自“Meteormatt”的评论

Golang 1.9会自动处理了。不需要加Flags了
https://github.com/golang/go/commit/0a3f3e166d702f477863a5260779fa0357c72302
感谢告知
Meteormatt
Meteormatt
Golang 1.9会自动处理了。不需要加Flags了
https://github.com/golang/go/commit/0a3f3e166d702f477863a5260779fa0357c72302
chai2010
chai2010
暂时放弃了 CL, 原因是这个CL强制启用utf8编码, 这样会导致无法生成gbk编码的zip.
我创建了一个issue讨论这个:
https://github.com/golang/go/issues/10741

希望能够增加2个函数, 用于支持任意的本地编码(不仅仅是gbk).
第三方支付接口
第三方支付接口
生成成功,感谢大大!
chai2010
chai2010

引用来自“学习重要”的评论

我說的MSFT員工是Michael S. Kaplan,他的推特:https://twitter.com/michkap

另外MSFT似乎也在改進對UTF-8的zip的支持,雖然XP肯定沒戲:http://support.microsoft.com/kb/2704299/en-us
这个补丁安装上好像没效果...
chai2010
chai2010
Go创建中文zip Windows下乱码的问题, 重新提交了补丁:
https://go-review.googlesource.com/#/c/9381/

不过 win7 的本地zip 解压是有bug的, 不支持utf8的标志位.
这里有个微软的补丁:
http://support.microsoft.com/zh-cn/kb/2704299

但是对中文好像没效果...
woooya
woooya

引用来自“chai2010”的评论

引用来自“doomsplayer”的评论

mahonia就好了

已经有了官方的go.text库, mahonia基本是被淘汰了.

这样啊。。孤陋寡闻了
学习重要
学习重要
我說的MSFT員工是Michael S. Kaplan,他的推特:https://twitter.com/michkap

另外MSFT似乎也在改進對UTF-8的zip的支持,雖然XP肯定沒戲:http://support.microsoft.com/kb/2704299/en-us
学习重要
学习重要

引用来自“chai2010”的评论

引用来自“学习重要”的评论

生成也用UTF-8啊,不然你的zip在除了簡體中文的Windows的所有系統都會亂碼。
不支持UTF-8最大的阻力也就是Windows的自帶zip不支持UTF-8(不知道Windows 8/8.1解決了沒),但是國內誰沒個壓縮軟件啊,用Windows的。

生成的zip文件主要是为了Windows中文环境下打开没有乱码, 不是为了仅仅给Go程序打开的.

正常的程序打開UTF-8的zip都不會亂碼...包括7-zip,WinRAR,WinZip,國產壓縮軟件相信更加不會...

只是MSFT的zip支持是壞的,之前有MSFT員工在msdn blog上吐嘈,現在那個blog被MSFT河蟹了好像。
chai2010
chai2010

引用来自“学习重要”的评论

生成也用UTF-8啊,不然你的zip在除了簡體中文的Windows的所有系統都會亂碼。
不支持UTF-8最大的阻力也就是Windows的自帶zip不支持UTF-8(不知道Windows 8/8.1解決了沒),但是國內誰沒個壓縮軟件啊,用Windows的。

生成的zip文件主要是为了Windows中文环境下打开没有乱码, 不是为了仅仅给Go程序打开的.
请教各位大神,为什么django下载的zip压缩包文件名中包含中文的就乱码啊?

各位朋友们好,我用django写了一个网页,可以下载zip的压缩包文件,但是如果该zip文件名含有中文,比如如果zip文件名是”math.zip”,那么下载的时候显示的文件名也是”math.zip”,但是如果...

qingyuanlu
2015/10/28
347
0
解决下载文件名乱码

今天做文件下载功能模块,发现几个问题。 1. 如果指定的文件名里包含了空格,FireFox就会截取空格前的部分作为默认文件名,IE就会在空格位置通过+号填补 2. 中文字符乱码,准确的是非 ASCII ...

hc_naa
2016/02/19
72
1
Apache Ant包进行ZIP文件压缩

Apache Ant包进行ZIP文件压缩 许多年前就遇到过这种业务,对ZIP标准压缩文件解压。之前写的操作类现在找不到了,最近项目中又要处理这种业务,所以重新写了一个。Java提供了处理ZIP包的API。...

一堆BUG
2012/02/28
0
0
文件打包与解压缩

目录: zip压缩打包程序 unzip解压缩zip文件 rar打包压缩命令&unrar解压rar文件 tar打包工具 使用zip压缩文件 Linux中常见的压缩文件如下: 1.zip压缩打包程序 以下参数1表示压缩时间快体积大...

honzhang
2017/04/25
0
0
UBUNTU14.04下nautilus脚本解压含中文ZIP文件插件

一般用unzip命令解压含中文乱码的文件如下: unzip -O CP936 含中文文件名.zip 每次都这样做那太累,所以写了个小插件配合nautilus方便日常办公使用: 打开 ~/.local/share/nautilus/script...

91tel
2014/05/01
0
0

没有更多内容

加载失败,请刷新页面

加载更多

00.编译OpenJDK-8u40的整个过程

前言 历经2天的折腾总算把OpenJDK给编译成功了,要说为啥搞这个,还得从面试说起,最近出去面试经常被问到JVM的相关东西,总感觉自己以前学的太浅薄,所以回来就打算深入学习,目标把《深入理...

凌晨一点
今天
2
0
python: 一些关于元组的碎碎念

初始化元组的时候,尤其是元组里面只有一个元素的时候,会出现一些很蛋疼的情况: def checkContentAndType(obj): print(obj) print(type(obj))if __name__=="__main__": tu...

Oh_really
昨天
6
2
jvm crash分析工具

介绍一款非常好用的jvm crash分析工具,当jvm挂掉时,会产生hs_err_pid.log。里面记录了jvm当时的运行状态以及错误信息,但是内容量比较庞大,不好分析。所以我们要借助工具来帮我们。 Cras...

xpbob
昨天
119
0
Qt编写自定义控件属性设计器

以前做.NET开发中,.NET直接就集成了属性设计器,VS不愧是宇宙第一IDE,你能够想到的都给你封装好了,用起来不要太爽!因为项目需要自从全面转Qt开发已经6年有余,在工业控制领域,有一些应用...

飞扬青云
昨天
4
0
我为什么用GO语言来做区块链?

Go语言现在常常被用来做去中心化系统(decentralised system)。其他类型的公司也都把Go用在产品的核心模块中,并且它在网站开发中也占据了一席之地。 我们在决定做Karachain的时候,考量(b...

HiBlock
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部