文档章节

1. Python标准库urllib.request模块_1(python3)

开拓者-2017
 开拓者-2017
发布于 2015/05/03 23:42
字数 447
阅读 167
收藏 0

参考学习地址:http://www.iplaypython.com

Header 网页头部信息:

Server 服务器类型

Content-Type: 网页内容类型: text 编码: GBK/UTF-8

Last-Modified 网站最后修改时间

 

image 

image 

# coding:utf-8

# 学习1
# import urllib
# # 查看方法内容
# print(dir(urllib))
# # 查看帮助文档
# help(urllib)
# # PACKAGE CONTENTS  (包里面的内容)
# #     error
# #     parse
# #     request
# #     response
# #     robotparser

# 学习2
# # urllib 包下的模块 request
# import urllib.request
# print(dir(urllib.request))
# help(urllib.request)

 

# 学习3
import urllib.request
# post/get  2中请求方式
help(urllib.request.urlopen)

# decode表示网页的解码方式, encode 表示展现是的编码

# 案例1: utf-8
# # 网页编码是 utf-8
# url="http://www.iplaypython.com"
# html=urllib.request.urlopen(url)
# # 获取网页header信息,有网站编码格式
# print(html.info())
# html_content=html.read().decode("utf-8")
# print(html_content)

# 案例2: gbk (python中 gb2312统一写成gbk)
# # 网页编码是 gb2312
# url="http://www.163.com"
# html=urllib.request.urlopen(url)
# # 获取网页header信息,有网站编码格式
# print(html.info())
# html_content=html.read().decode("gbk")
# print(html_content)

 

# 学习4
import urllib.request
# print(dir(html))
# 获取网页所在的header信息
url="http://www.iplaypython.com"
html=urllib.request.urlopen(url)
# # 获取网页header信息,有网站编码格式
print(html.info())
# 获取网站返回的状态码
print("返回的状态码: %s" % html.getcode())
"""
网页状态码

200正常访问 
301重定向                302临时重定向
403禁止访问              404网页不存在
500服务器忙/无响应

http权威指南,专门介绍http协议,推荐大家买纸质档
Web开发,这本书是必备的

"""

# 获取用户传入的url
print(html.geturl())
# 网页打开后,记得关闭,便于内存回收
html.close()

 

# 学习5
import urllib.request
# 网页爬取,下载网页
# urllib.request.urlretrieve(url,"e:/_python/other/abc.html")    #将网页保存为html格式
urllib.request.urlretrieve(url,"e:/_python/other/abc.txt")      #将网页保存为txt格式

# 网页打开后,记得关闭,便于内存回收
html.close()

© 著作权归作者所有

开拓者-2017
粉丝 37
博文 151
码字总数 301625
作品 0
大兴
程序员
私信 提问
Python札记44_模块(sys、copy)

Python的强大不仅体现在它拥有强大的自有模块(标准库),同时还体现在它有海量的第三方库。 模块的自信来自于,模块是拿来即用的,不用自己编写 什么是模块 模块在Python中就是一个.py的程序...

皮皮大
07/15
0
0
Python入门到进阶,这本书有什么不同?

人们常说Python语言简单,编写简单程序时好像也确实如此。但实际上Python绝不简单,它也是一种很复杂的语言,其功能特征非常丰富,能支持多种编程风格,在几乎所有方面都能深度定制。要想用好...

异步社区
2018/08/13
0
0
那些年,我们读过的python!

Python是一个强大、快速、易学、友好、开源的脚本语言。Hacker必备的语言之一。 Python - 历史由来 Python 是一种开源的面向对象的脚本语言,它起源于1989年末,当时,CWI(阿姆斯特丹国家数...

生气的散人
2014/03/21
1K
2
使用 python 管理 mysql 开发工具箱 - 1

Mysql 是一个比较优秀的开源的数据库,很多公司都在使用。作为运维人员,经常做着一些重复性的工作,比如创建数据库实例,数据库备份等,完全都可以使用 python 编写一个工具来实现。 一、模...

肖邦0526
2016/12/26
0
0
在C++软件中嵌入python解释器

Python简介 Python是一种简单易学,功能强大的解释型编程语言,它有简洁明了的语法,高效率的高层数据结构,能够简单而有效地实现面向对象编程,特别适用于快速应用程序开发,也可以用来开发...

openthings
2015/01/21
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部