文档章节

使用python进行web抓取

 刘星石
发布于 2016/03/25 15:27
字数 3277
阅读 96
收藏 2

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

http://cxy.liuzhihengseo.com/462.html

原文出处: 磁针石   

本文摘要自Web Scraping with Python – 2015

书籍下载地址:https://bitbucket.org/xurongzhong/python-chinese-library/downloads

源码地址:https://bitbucket.org/wswp/code

演示站点:http://example.webscraping.com/

演示站点代码:http://bitbucket.org/wswp/places

推荐的python基础教程: http://www.diveintopython.net

HTML和JavaScript基础:

http://www.w3schools.com

web抓取简介

  • 为什么要进行web抓取?

网购的时候想比较下各个网站的价格,也就是实现惠惠购物助手的功能。有API自然方便,但是通常是没有API,此时就需要web抓取。

  • web抓取是否合法?

抓取的数据,个人使用不违法,商业用途或重新发布则需要考虑授权,另外需要注意礼节。根据国外已经判决的案例,一般来说位置和电话可以重新发布,但是原创数据不允许重新发布。

更多参考:

http://www.bvhd.dk/uploads/tx_mocarticles/S_-_og_Handelsrettens_afg_relse_i_Ofir-sagen.pdf

http://www.austlii.edu.au/au/cases/cth/FCA/2010/44.html

http://caselaw.findlaw.com/us-supreme-court/499/340.html

  • 背景研究

robots.txt和Sitemap可以帮助了解站点的规模和结构,还可以使用谷歌搜索和WHOIS等工具。

比如:http://example.webscraping.com/robots.txt

1

2

3

4

5

6

7

8

9

10

11

# section 1

User-agent: BadCrawler

Disallow: /

 

# section 2

User-agent: *

Crawl-delay: 5

Disallow: /trap 

 

# section 3

Sitemap: http://example.webscraping.com/sitemap.xml

更多关于web机器人的介绍参见 http://www.robotstxt.org
Sitemap的协议: http://www.sitemaps.org/protocol.html,比如:

1

2

3

4

http://example.webscraping.com/view/Afghanistan-1

http://example.webscraping.com/view/Aland-Islands-2

http://example.webscraping.com/view/Albania-3

...

站点地图经常不完整。

站点大小评估:
通过google的site查询 比如:site:automationtesting.sinaapp.com

站点技术评估:

1

2

3

4

5

6

7

8

9

10

# pip install builtwith

# ipython

In [1]: import builtwith

 

In [2]: builtwith.parse('http://automationtesting.sinaapp.com/')

Out[2]: 

{u'issue-trackers': [u'Trac'],

 u'javascript-frameworks': [u'jQuery'],

 u'programming-languages': [u'Python'],

 u'web-servers': [u'Nginx']}

分析网站所有者:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

# pip install python-whois

# ipython

In [1]: import whois

 

In [2]: print whois.whois('http://automationtesting.sinaapp.com')

{

  "updated_date": "2016-01-07 00:00:00", 

  "status": [

    "serverDeleteProhibited https://www.icann.org/epp#serverDeleteProhibited", 

    "serverTransferProhibited https://www.icann.org/epp#serverTransferProhibited", 

    "serverUpdateProhibited https://www.icann.org/epp#serverUpdateProhibited"

  ], 

  "name": null, 

  "dnssec": null, 

  "city": null, 

  "expiration_date": "2021-06-29 00:00:00", 

  "zipcode": null, 

  "domain_name": "SINAAPP.COM", 

  "country": null, 

  "whois_server": "whois.paycenter.com.cn", 

  "state": null, 

  "registrar": "XIN NET TECHNOLOGY CORPORATION", 

  "referral_url": "http://www.xinnet.com", 

  "address": null, 

  "name_servers": [

    "NS1.SINAAPP.COM", 

    "NS2.SINAAPP.COM", 

    "NS3.SINAAPP.COM", 

    "NS4.SINAAPP.COM"

  ], 

  "org": null, 

  "creation_date": "2009-06-29 00:00:00", 

  "emails": null

}

  • 抓取第一个站点

简单的爬虫(crawling)代码如下:

Python

1

2

3

4

5

6

7

8

9

10

import urllib2

 

def download(url):

    print 'Downloading:', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

    return html

可以基于错误码重试。HTTP状态码:https://tools.ietf.org/html/rfc7231#section-6。4**没必要重试,5**可以重试下。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

import urllib2

 

def download(url, num_retries=2):

    print 'Downloading:', url

    try:

        html = urllib2.urlopen(url).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 

  http://httpstat.us/500 会返回500,可以用它来测试下:

>>> download('http://httpstat.us/500')

Downloading: http://httpstat.us/500

Download error: Internal Server Error

Downloading: http://httpstat.us/500

Download error: Internal Server Error

Downloading: http://httpstat.us/500

Download error: Internal Server Error

设置 user agent

urllib2默认的user agent是“Python-urllib/2.7”,很多网站会对此进行拦截, 推荐使用接近真实的agent,比如

Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0

为此我们增加user agent设置:

import urllib2

 

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):

    print 'Downloading:', url

    headers = {'User-agent': user_agent}

    request = urllib2.Request(url, headers=headers)    

    try:

        html = urllib2.urlopen(request).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 

 

爬行站点地图:

def crawl_sitemap(url):

    # download the sitemap file

    sitemap = download(url)

    # extract the sitemap links

    links = re.findall('(.*?)', sitemap)

    # download each link

    for link in links:

        html = download(link)

        # scrape html here

        # ...

ID循环爬行:•  http://example.webscraping.com/view/Afghanistan-1•  http://example.webscraping.com/view/Australia-2•  http://example.webscraping.com/view/Brazil-3上面几个网址仅仅是最后面部分不同,通常程序员喜欢用数据库的id,比如:http://example.webscraping.com/view/1 ,这样我们就可以数据库的id抓取网页。

for page in itertools.count(1):

    url = 'http://example.webscraping.com/view/-%d' % page

    html = download(url)

    if html is None:

        break

    else:

        # success - can scrape the result

        pass

        当然数据库有可能删除了一条记录,为此我们改进成如下:

# maximum number of consecutive download errors allowed

max_errors = 5

# current number of consecutive download errors

num_errors = 0

for page in itertools.count(1):

    url = 'http://example.webscraping.com/view/-%d' % page

    html = download(url)

    if html is None:

        # received an error trying to download this webpage

        num_errors += 1

        if num_errors == max_errors:

            # reached maximum number of

            # consecutive errors so exit

            break

    else:

        # success - can scrape the result

        # ...

        num_errors = 0

有些网站不存在的时候会返回404,有些网站的ID不是这么有规则的,比如亚马逊使用ISBN。       

 

分析网页

一般的浏览器都有"查看页面源码"的功能,在FirefoxFirebug尤其方便。以上工具都可以邮件点击网页调出。抓取网页数据主要有3种方法:正则表达式、BeautifulSouplxml。正则表达式示例:

In [1]: import re

 

In [2]: import common

 

In [3]: url = 'http://example.webscraping.com/view/UnitedKingdom-239'

 

In [4]: html = common.download(url)

Downloading: http://example.webscraping.com/view/UnitedKingdom-239

 

In [5]: re.findall('(.*?)', html)

Out[5]: 

['',

 '244,820 square kilometres',

 '62,348,447',

 'GB',

 'United Kingdom',

 'London',

 'EU',

 '.uk',

 'GBP',

 'Pound',

 '44',

 '@# #@@|@## #@@|@@# #@@|@@## #@@|@#@ #@@|@@#@ #@@|GIR0AA',

 '^(([A-Z]\d{2}[A-Z]{2})|([A-Z]\d{3}[A-Z]{2})|([A-Z]{2}\d{2}[A-Z]{2})|([A-Z]{2}\d{3}[A-Z]{2})|([A-Z]\d[A-Z]\d[A-Z]{2})|([A-Z]{2}\d[A-Z]\d[A-Z]{2})|(GIR0AA))$',

 'en-GB,cy-GB,gd',

 'IE ']

 

In [6]: re.findall('(.*?)', html)[1]

Out[6]: '244,820 square kilometres'

维护成本比较高。
Beautiful Soup:

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

In [7]: from bs4 import BeautifulSoup

 

In [8]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

 

In [9]: # parse the HTML

 

In [10]: soup = BeautifulSoup(broken_html, 'html.parser')

 

In [11]: fixed_html = soup.prettify()

 

In [12]: print fixed_html

<ul class="country">

<li>

  Area

  <li>

   Population

  </li>

</li>

</ul>

In [13]: ul = soup.find('ul', attrs={'class':'country'})

 

In [14]: ul.find('li') # returns just the first match

Out[14]: <li>Area<li>Population</li></li>

 

In [15]: ul.find_all('li') # returns all matches

Out[15]: [<li>Area<li>Population</li></li>, <li>Population</li>]

完整的例子:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

In [1]: from bs4 import BeautifulSoup

 

In [2]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

 

In [3]: import common

 

In [5]: html = common.download(url)

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

 

In [6]: soup = BeautifulSoup(html)

/usr/lib/python2.7/site-packages/bs4/__init__.py:166:

 UserWarning: No parser was explicitly specified, so I'm using the best 

available HTML parser for this system ("lxml"). This usually isn't a 

problem, but if you run this code on another system, or in a different 

virtual environment, it may use a different parser and behave 

differently.

 

To get rid of this warning, change this:

 

 BeautifulSoup([your markup])

 

to this:

 

 BeautifulSoup([your markup], "lxml")

 

  markup_type=markup_type))

 

In [7]: # locate the area row

 

In [8]: tr = soup.find(attrs={'id':'places_area__row'})

 

In [9]: td = tr.find(attrs={'class':'w2p_fw'}) # locate the area tag

 

In [10]: area = td.text # extract the text from this tag

 

In [11]: print area

244,820 square kilometres

Lxml基于 libxml2(c语言实现),更快速,但是有时更难安装。网址:http://lxml.de/installation.html。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

In [1]: import lxml.html

 

In [2]: broken_html = '<ul class=country><li>Area<li>Population</ul>'

 

In [3]: tree = lxml.html.fromstring(broken_html) # parse the HTML

 

In [4]: fixed_html = lxml.html.tostring(tree, pretty_print=True)

 

In [5]: print fixed_html

<ul class="country">

<li>Area</li>

<li>Population</li>

</ul>

lxml的容错能力也比较强,少半边标签通常没事。

下面使用css选择器,注意安装cssselect。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

In [1]: import common

 

In [2]: import lxml.html

 

In [3]: url = 'http://example.webscraping.com/places/view/United-Kingdom-239'

 

In [4]: html = common.download(url)

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

 

In [5]: tree = lxml.html.fromstring(html)

 

In [6]: td = tree.cssselect('tr#places_area__row > td.w2p_fw')[0]

 

In [7]: area = td.text_content()

 

In [8]: print area

244,820 square kilometres

在 CSS 中,选择器是一种模式,用于选择需要添加样式的元素。

“CSS” 列指示该属性是在哪个 CSS 版本中定义的。(CSS1、CSS2 还是 CSS3。)

选择器 例子 例子描述 CSS
.class .intro 选择 class=”intro” 的所有元素。 1
#id #firstname 选择 id=”firstname” 的所有元素。 1
* * 选择所有元素。 2
element p 选择所有元素。 1
element,element div,p 选择所有 

元素和所有元素。

1
element element div p 选择 

元素内部的所有元素。

1
element>element div>p 选择父元素为 

元素的所有元素。

2
element+element div+p 选择紧接在 

元素之后的所有元素。

2
[attribute] [target] 选择带有 target 属性所有元素。 2
[attribute=value] [target=_blank] 选择 target=”_blank” 的所有元素。 2
[attribute~=value] [title~=flower] 选择 title 属性包含单词 “flower” 的所有元素。 2
[attribute|=value] [lang|=en] 选择 lang 属性值以 “en” 开头的所有元素。 2
:link a:link 选择所有未被访问的链接。 1
:visited a:visited 选择所有已被访问的链接。 1
:active a:active 选择活动链接。 1
:hover a:hover 选择鼠标指针位于其上的链接。 1
:focus input:focus 选择获得焦点的 input 元素。 2
:first-letter p:first-letter 选择每个元素的首字母。 1
:first-line p:first-line 选择每个元素的首行。 1
:first-child p:first-child 选择属于父元素的第一个子元素的每个元素。 2
:before p:before 在每个元素的内容之前插入内容。 2
:after p:after 在每个元素的内容之后插入内容。 2
:lang(language) p:lang(it) 选择带有以 “it” 开头的 lang 属性值的每个元素。 2
element1~element2 p~ul 选择前面有元素的每个 
  • 元素。

3
[attribute^=value] a[src^="https"] 选择其 src 属性值以 “https” 开头的每个元素。 3
[attribute$=value] a[src$=".pdf"] 选择其 src 属性以 “.pdf” 结尾的所有 元素。 3
[attribute*=value] a[src*="abc"] 选择其 src 属性中包含 “abc” 子串的每个元素。 3
:first-of-type p:first-of-type 选择属于其父元素的首个元素的每个 

元素。

3
:last-of-type p:last-of-type 选择属于其父元素的最后元素的每个 

元素。

3
:only-of-type p:only-of-type 选择属于其父元素唯一的元素的每个 

元素。

3
:only-child p:only-child 选择属于其父元素的唯一子元素的每个元素。 3
:nth-child(n) p:nth-child(2) 选择属于其父元素的第二个子元素的每个元素。 3
:nth-last-child(n) p:nth-last-child(2) 同上,从最后一个子元素开始计数。 3
:nth-of-type(n) p:nth-of-type(2) 选择属于其父元素第二个元素的每个 

元素。

3
:nth-last-of-type(n) p:nth-last-of-type(2) 同上,但是从最后一个子元素开始计数。 3
:last-child p:last-child 选择属于其父元素最后一个子元素每个元素。 3
:root :root 选择文档的根元素。 3
:empty p:empty 选择没有子元素的每个元素(包括文本节点)。 3
:target #news:target 选择当前活动的 #news 元素。 3
:enabled input:enabled 选择每个启用的 <input>元素。 3
:disabled input:disabled 选择每个禁用的 <input>元素 3
:checked input:checked 选择每个被选中的 <input>元素。 3
:not(selector) :not(p) 选择非<p>元素的每个元素。 3
::selection ::selection 选择被用户选取的元素部分。 3

CSS 选择器参见:http://www.w3school.com.cn/cssref/css_selectors.ASP 和 https://pythonhosted.org/cssselect/#supported-selectors。

下面通过提取如下页面的国家数据来比较性能:

比较代码:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

import urllib2

import itertools

import re

from bs4 import BeautifulSoup

import lxml.html

import time

 

FIELDS = ('area', 'population', 'iso', 'country', 'capital',

'continent', 'tld', 'currency_code', 'currency_name', 'phone',

'postal_code_format', 'postal_code_regex', 'languages',

'neighbours')

 

def download(url, user_agent='Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0', num_retries=2):

    print 'Downloading:', url

    headers = {'User-agent': user_agent}

    request = urllib2.Request(url, headers=headers)    

    try:

        html = urllib2.urlopen(request).read()

    except urllib2.URLError as e:

        print 'Download error:', e.reason

        html = None

        if num_retries > 0:

            if hasattr(e, 'code') and 500 (.*?)' % field, html.replace('n','')).groups()[0]

    return results

 

def bs_scraper(html):

    soup = BeautifulSoup(html, 'html.parser')

    results = {}

    for field in FIELDS:

        results[field] = soup.find('table').find('tr',id='places_%s__row' % field).find('td',class_='w2p_fw').text

    return results

 

def lxml_scraper(html):

    tree = lxml.html.fromstring(html)

    results = {}

    for field in FIELDS:

        results[field] = tree.cssselect('table > tr#places_%s__row> td.w2p_fw' % field)[0].text_content()

    return results

 

NUM_ITERATIONS = 1000 # number of times to test each scraper

html = download('http://example.webscraping.com/places/view/United-Kingdom-239')

 

for name, scraper in [('Regular expressions', re_scraper),('BeautifulSoup', bs_scraper),('Lxml', lxml_scraper)]:

    # record start time of scrape

    start = time.time()

    for i in range(NUM_ITERATIONS):

        if scraper == re_scraper:

            re.purge()

        result = scraper(html)

        # check scraped result is as expected

        assert(result['area'] == '244,820 square kilometres')

 

    # record end time of scrape and output the total

    end = time.time()

    print '%s: %.2f seconds' % (name, end - start)

Windows执行结果:

1

2

3

4

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

Regular expressions: 11.63 seconds

BeautifulSoup: 92.80 seconds

Lxml: 7.25 seconds

Linux执行结果:

1

2

3

4

Downloading: http://example.webscraping.com/places/view/United-Kingdom-239

Regular expressions: 3.09 seconds

BeautifulSoup: 29.40 seconds

Lxml: 4.25 seconds

其中 re.purge() 用户清正则表达式的缓存。

推荐使用基于Linux的lxml,在同一网页多次分析的情况优势更为明显。

 问啊-定制化IT教育平台,牛人一对一服务,有问必答,开发编程社交头条 官方网站:www.wenaaa.com 下载问啊APP,参与官方悬赏,赚百元现金。


QQ群290551701 聚集很多互联网精英,技术总监,架构师,项目经理!开源技术研究,欢迎业内人士,大牛及新手有志于从事IT行业人员进入!


本文转载自:http://cxy.liuzhihengseo.com/462.html

粉丝 17
博文 142
码字总数 13945
作品 0
天津
私信 提问
[雪峰磁针石博客]2018最佳人工智能数据采集(爬虫)工具书下载

Python网络数据采集 Python网络数据采集 - 2016.pdf 本书采用简洁强大的Python语言,介绍了网络数据采集,并为采集新式网络中的各种数据类型提供了全面的指导。第 1部分重点介绍网络数据采集...

python测试开发人工智能安全
2018/11/07
252
0
《权力的游戏》最终季上线!谁是你最喜爱的演员?这里有一份Python教程 | 附源码...

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/dQCFKyQDXYm3F8rB0/article/details/89369393...

AI科技大本营
04/17
0
0
一套来自年薪40W的Python大神分享的学习体系

不论你是对Python初出茅庐,还是如指诸掌,这篇文章对你的收获总归还是有的啦,可能只是程度的问题。好了不扯远了,来说正题,下面在分享这套体系前还是要让Python做一下“自我介绍”。 1.Py...

Python共读
2018/08/27
0
0
Python异步加载爬虫,护士私密照源源不断,Ajax抓取速度惊人!

利用aiohttp这个库来进行异步协程提速! 如果Python爬虫不仅在代码编写上展现速度,而且在爬取过程中表现出优越感,最好的就是去下载图片吧,而下载图片最好的代表当然是......我就不多说了。...

Python新世界
2018/07/17
0
0
Python爬虫原理详解 简单易懂

什么是Python爬虫?Python爬虫原理是什么?Python爬虫代码是如何实现的?码笔记分享Python介绍及爬虫原理详解: 什么是Python爬虫? 我们可以把互联网看成是各种信息的站点及网络设备在一起组...

张扯淡
07/26
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周四乱弹 —— 浙江台的电话号码倒是记得挺牢

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @巴拉迪维 :《Out On The Streets》 一直不理解北欧人对重金属和死亡摇滚的热情,听完这首歌好像理解了。#今日歌曲推荐# 《Out On The Stre...

小小编辑
今天
6
0
Leetcode PHP题解--D121 21. Merge Two Sorted Lists

D121 21. Merge Two Sorted Lists 题目链接 21. Merge Two Sorted Lists 题目分析 合并两个有序链表。 思路 逐个遍历两个链表,把小的数字塞入数组里。之后再拼起来。 最终代码 <?php/** *...

skys215
今天
5
0
mars-config 动态配置管理

mars-config 码云地址:https://gitee.com/fashionbrot/mars-config 介绍 spring mvc 、springboot 动态配置系统。http 轮训方式 更新 动态配置 软件架构 软件架构说明 后端使用技术 :sprin...

fashionbrot
今天
14
0
女朋友玩吃鸡手游被开挂老哥骗炮,我见义勇为将骗子绳之以法

大家好,我是乔哥。 晚上10点以后下班后我回到自如出租房里面,开始处理公众号粉丝发来的消息,一条一条处理,突然看到了这么几条消息,吸引了我的眼球: 然后我就和这位女粉丝小红(化名)聊...

gzc426
今天
9
0
两款软件

fadetop保护眼睛软件 Snipaste截图软件

伟大源于勇敢的开始
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部