文档章节

python-urllib2、beautifulsoup4模块使用_已迁移

辣条拌鱼翅
 辣条拌鱼翅
发布于 2015/12/28 18:49
字数 78
阅读 48
收藏 2

关键字用下划线

import urllib2  

response = urllib2.urlopen('http://www.5iweb.com.cn/mobile-phone-mobile-end-effects/469.html')  #获取URL

print response.getcode()        #获取返回状态码


response.add_header('user-agent', 'Mozilla/5.0')  #模拟火孤请求


pip install beautifulsoup4 #安装网页解析器

#获取页面的编码

import urllib2from bs4 import BeautifulSouphtml = urllib2.urlopen('  soup = BeautifulSoup(html)
>>> soup.original_encoding
u'gbk'


© 著作权归作者所有

共有 人打赏支持
辣条拌鱼翅
粉丝 25
博文 268
码字总数 73301
作品 0
朝阳
程序员
私信 提问
python中用beautifulSoup+urlib2 安装、抓取和解析网页,以及解析shtml

安装 Beautiful Soup¶ 如果你用的是新版的Debain或ubuntu,那么可以通过系统的软件包管理来安装: $ apt-get install Python-bs4 Beautiful Soup 4 通过PyPi发布,所以如果你无法使用系统包管理...

不容置喙
2014/10/05
0
0
python-35:urllib 和 urllib2 模块

首先,urllib 和 urllib2 是python 自带的模块,所以我们可以通过官网文档来查看它们的详细信息,这里依然给出网址,感兴趣的同学可以看一下 urllib模块:http://python.usyiyi.cn/python278...

达岭凹老大
2015/12/01
229
0
Python:urllib 和urllib2之间的区别

作为一个Python菜鸟,之前一直懵懂于urllib和urllib2,以为2是1的升级版。今天看到老外写的一篇《Python: difference between urllib and urllib2》才明白其中的区别。 You might be intrigu...

索隆
2012/04/27
0
0
Python: difference between urllib and urllib2

作为一个Python菜鸟,之前一直懵懂于urllib和urllib2,以为2是1的升级版。今天看到老外写的一篇《Python: difference between urllib and urllib2》才明白其中的区别。 You might be intrigu...

DragonRiver2015
2013/12/08
0
0
网页爬虫--requests--urllib2--cgi

-- --import------import requests 模块---python爬虫---------------------------------------------------------------------------- -- 用Pyhton自带的urllib或urllib2模块抓取网页或许有......

liapple6
10/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

TensorFlow的基础概念02

TensorFlow的计算流图 import osos.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'#TensorFlow的计算模型,数据流图'''TensorFlow = Tensor + FlowTensor 张量 数据结构:多维数组Flo...

怪咖先生forever
1分钟前
0
0
大数据技术的发展趋势

大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。这些技术下一步将如何发展?它们之中哪些技术将广为流行?又会诞生哪些新的技术? 技术趋向多样化,...

董黎明
17分钟前
2
0
藏在正则表达式里的陷阱

前几天线上一个项目监控信息突然报告异常,上到机器上后查看相关资源的使用情况,发现 CPU 利用率将近 100%。通过 Java 自带的线程 Dump 工具,我们导出了出问题的堆栈信息。 我们可以看到所...

前端小攻略
19分钟前
0
0
关联更新,关联查询

关联更新 update A,B SET A.c1=B.c1,A.c2=B.c2 where A.id=B.id and ... update A inner join on A.id=B.id set A.c1=B.c1,A.c2=B.c2 where... 关联查询 交叉连接(cross join),内连接(inner ......

关元
22分钟前
0
0
django的环境搭建及启用

Pycharm社区版不像商业版那样可以直接创建django工程,需要通过一下步骤创建: 新建一个用于Django开发的虚拟环境 打开命令窗口 新建虚拟环境: conda create -n env_name python=3.6 查看系...

davidwbnu
23分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部