文档章节

python 模块 chardet

thinking空
 thinking空
发布于 2014/11/10 21:04
字数 476
阅读 25
收藏 0

python 模块 chardet下载及介绍

在处理字符串时,常常会遇到不知道字符串是何种编码,如果不知道字符串的编码就不能将字符串转换成需要的编码。面对多种不同编码的输入方式,是否会有一种有效的编码方式?chardet是一个非常优秀的编码识别模块。
chardet 是python的第三方库,需要下载和安装。下载的地址有:
如果采用源代码安装方法,有可能会提示缺少setuptools这个模块。因此这里我们采用另外一种更为方便的安装方法,不论你选择哪种安装包,将它解压得到其中的文件夹【chardet】将这个文件夹复制到【python安装根目录\Lib\site-packages】下,确保这个位置可以被python引用到。如果不能被引用到请加入环境变量。

在安装完chardet模块,我就可以使用它了,来看一段示例代码。
[python] view plain copy
  1. import chardet  
  2. import urllib  
  3.   
  4. #可根据需要,选择不同的数据  
  5. TestData = urllib.urlopen('http://www.baidu.com/').read()  
  6. print chardet.detect(TestData)  
  7.   
  8. 运行结果:  
  9. {'confidence'0.99'encoding''GB2312'}  

运行结果表示有99%的概率认为这段代码是GB2312编码方式。

另外一个相对高级的应用。
[python] view plain copy
  1. import urllib  
  2. from chardet.universaldetector import UniversalDetector  
  3. usock = urllib.urlopen('http://www.baidu.com/')  
  4. #创建一个检测对象  
  5. detector = UniversalDetector()  
  6. for line in usock.readlines():  
  7.     #分块进行测试,直到达到阈值  
  8.     detector.feed(line)  
  9.     if detector.done: break  
  10. #关闭检测对象  
  11. detector.close()  
  12. usock.close()  
  13. #输出检测结果  
  14. print detector.result  
  15.   
  16. 运行结果:  
  17. {'confidence'0.99'encoding''GB2312'}  

应用背景,如果要对一个大文件进行编码识别,使用这种高级的方法,可以只读一部,去判别编码方式从而提高检测速度。


来自:http://blog.csdn.net/aqwd2008/article/details/7506007

本文转载自:http://blog.csdn.net/tianzhu123/article/details/8187470

thinking空
粉丝 3
博文 17
码字总数 7261
作品 0
大连
私信 提问
py2exe 生成exe文件时提示找不到某模块

如题,打开python,import chardet没问题,但是使用py2exe时总提示chardet找不到... 由于chardet安装是下载的tar.gz文件解压后,python setup.py install 安装的(windows),不得不将解压后的...

wangyincol
2018/06/26
0
0
使用chardet探测字符串编码

有时在使用python爬虫爬取页面时,返回的内容是乱码的,一种行之有效的方法是利用chardet(需要使用pip安装)探测字符串的编码,再相应调整爬虫的编码方式进行解码。示例如下: 1.利用request...

盗花
2018/05/13
0
0
[python]转换文件编码格式

文件编码格式一直是很多人特别头疼的一件事情,最近由于跨平台开发,经常出现编码格式的问题。所以关于编码格式转换采用python的方式记录下来以便后期需要。让我们一起走进python对编码格式的...

羽恒
2018/09/27
0
0
OpenERP 自动编码去BOM(可用excel编辑)web-import-chardet

openerp-web-import-chardet 作者:wangbuke@gmail.com 源码托管地址:https://github.com/buke/openerp-web-import-chardet OE apps 下载地址:http://apps.openerp.com/addon/8098 功能: ......

wangbuke
2012/09/05
0
0
【ZZ】Python chardet 字符编码判断

使用 chardet 可以很方便的实现字符串/文件的编码检测。尤其是中文网页,有的页面使用GBK/GB2312,有的使用UTF8,如果你需要去爬一些页面,知道网页编码很重要的,虽然HTML页面有charset标签...

学徒1986
2013/07/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

聊聊中国的通信行业:从“七国八制”到“中华”脊梁

本期文章和大家一起来聊一聊我曾经从事过的通信行业吧。最近各方面信息的泛滥,包括和华为的同学聊天,自己确实也感慨颇多。想想我自己本科主修通信工程,研究生再修信息与通信工程,从本科开...

CodeSheep
50分钟前
4
0
MDK:ARM M451M:exceed the range of code meory, continue to erase or not?

问题: 代码空间超限 几天前就遇到:exceed the range of code meory, continue to erase or not? 如下所示: 解决过程 开始以为中MDK软件的128KB限制,如是就不能生成HEX文件,应该链接时有提...

SamXIAO
57分钟前
1
1
OSChina 周六乱弹 —— 因违反《中华人民共和国治安管理处罚法》第四十四条之规定

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @xiaoshiyue :#今日歌曲推荐# 惊艳分享谷微的单曲《安守本份》(@网易云音乐) 《安守本份》- 谷微 手机党少年们想听歌,请使劲儿戳(这里) ...

小小编辑
今天
292
7
Angular 英雄编辑器

应用程序现在有了基本的标题。 接下来你要创建一个新的组件来显示英雄信息并且把这个组件放到应用程序的外壳里去。 创建英雄组件 使用 Angular CLI 创建一个名为 heroes 的新组件。 ng gener...

honeymoose
今天
8
0
Kernel DMA

为什么会有DMA(直接内存访问)?我们知道通常情况下,内存数据跟外设之间的通信是通过cpu来传递的。cpu运行io指令将数据从内存拷贝到外设的io端口,或者从外设的io端口拷贝到内存。由于外设...

yepanl
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部