文档章节

python 文件编码获取 与编码转换

myzyq
 myzyq
发布于 2016/03/16 17:50
字数 116
阅读 61
收藏 1
# python 2.7.11
# 简单的python 爬虫及编码转换
#
# 爬虫
import urllib
import urllib2
# 文件编码获取
import chardet


url = urllib2.Request('http://1.myzyq.applinzi.com/test.html')
response = urllib2.urlopen(url).read()

# 获取编码格式,返回2个参数
# confidence  准确概率
# encoding 编码格式
# {'confidence': 0.99, 'encoding': 'GB2312'}
rtype = chardet.detect(response)
print rtype

# 先解码为unicode 在编码为utf8
response = response.decode(chardet.detect(response)['encoding']).encode('utf8')

f = open('test.txt', 'w')

f.write(response)

© 著作权归作者所有

myzyq
粉丝 2
博文 39
码字总数 4196
作品 0
昌平
程序员
私信 提问
数据提取之JSON与JsonPATH

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景,比如网站前台与后台之间的...

张元江_erel
2018/11/28
0
0
python数据存储--JSON

HTML正文存储为两种格式:JSON和CSV。 存储为JSON: 首先利用Requests访问http://seputu.com获取HTML文档: 取每章节 接下来将数据存储为JSON。 python对JSON文件的操作分为编码和解码,通过...

guguobao
2018/08/21
0
0
廖雪峰Python教程学习笔记

Python基础 字符串和编码 字符编码 计算机在读取和编辑、保存、传输时文本时使用UTF-8编码,在内存中表示时使用Unicode编码 UTF-8编码使用一个字节表示英文字符,使用2-6字节表示其他语言字...

OSC_fly
2018/08/10
0
0
人人都能学会的python编程教程3:字符串和编码

字符串 在python3中已经全面支持中文。 由于Python源代码也是一个文本文件,所以,当你的源代码中包含中文的时候,在保存源代码时,就需要务必指定保存为UTF-8编码。当Python解释器读取源代码...

编程老司机
2018/05/10
0
0
Python基础——内置hashlib、IO、Json、codecs模块(0426)

一、hashlib 加密模块:提供了很多加密的算法 常见的加密方式:MD5 RSA,加密之后不可逆。没法破解。 1、以MD5的方式加密字符串(Python 3) 示例 结果 2、以MD5的方式加密字符串(Python 2)...

python初雪之路
2018/04/27
84
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部