文档章节

python爬虫----(scrapy框架提高(1),自定义Request爬取)

明天以后
 明天以后
发布于 2014/11/10 16:02
字数 1394
阅读 30372
收藏 30

    最近看scrappy0.24官方文档看的正心烦的时候,意外发现中文翻译0.24文档,简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/


    结合官方文档例子,简单整理一下:

import scrapy
from myproject.items import MyItem
class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = (
        'http://example.com/page1',
        'http://example.com/page2',
        )

    def parse(self, response):
        # collect `item_urls`
        for item_url in item_urls:
            yield scrapy.Request(item_url, self.parse_item)

    def parse_item(self, response):
        item = MyItem()
        # populate `item` fields
        # and extract item_details_url
        yield scrapy.Request(item_details_url, self.parse_details, meta={'item': item})

    def parse_details(self, response):
        item = response.meta['item']
        # populate more `item` fields
        return item

    从Spider继承了一个爬虫类,唯一名称 name="myspider", 爬虫默认入口地址 start_urls = () ,元组或列表都可以。


    从Spider源码中,可以看到:

# 代码片段
class Spider(object_ref):
    """Base class for scrapy spiders. All spiders must inherit from this
    class.
    """

    name = None

    def __init__(self, name=None, **kwargs):
        if name is not None:
            self.name = name
        elif not getattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)
        self.__dict__.update(kwargs)
        if not hasattr(self, 'start_urls'):
            self.start_urls = []

    在Spider初始化时,检查name是否为None,start_urls 是否存在。代码很简单
    继续向下看:

# 代码片段
    def start_requests(self):
        for url in self.start_urls:
            yield self.make_requests_from_url(url)

    def parse(self, response):
        raise NotImplementedError

    到这里很容易看到, start_requests 方法,遍历 start_urls  中的url,并执行 Request请求

    默认response处理方法入口,parse函数需要实现,也就是在继承类中重写parse方法。


    再看,示例代码中。

# 第一个函数
    def parse(self, response):
        # collect `item_urls`
        # 可以理解为:网站的所有导航菜单的超链接集合
        for item_url in item_urls:
            yield scrapy.Request(item_url, self.parse_item)

    为默认入口,也就是从父类Spider类中继承过来的(或者说是一个必须要实现的接口),但是需要实现。

    在这个函数体中,根据 start_requests (默认为GET请求)返回的 Response,得到了一个 名字为‘item_urls’ 的url集合。

    然后遍历并请求这些集合。

    再看 Request 源码:

# 部分代码
class Request(object_ref):

    def __init__(self, url, callback=None, method='GET', headers=None, body=None, 
                 cookies=None, meta=None, encoding='utf-8', priority=0,
                 dont_filter=False, errback=None):

        self._encoding = encoding  # this one has to be set first
        self.method = str(method).upper()
        self._set_url(url)
        self._set_body(body)
        assert isinstance(priority, int), "Request priority not an integer: %r" % priority
        self.priority = priority

        assert callback or not errback, "Cannot use errback without a callback"
        self.callback = callback
        self.errback = errback

        self.cookies = cookies or {}
        self.headers = Headers(headers or {}, encoding=encoding)
        self.dont_filter = dont_filter

        self._meta = dict(meta) if meta else None

    @property
    def meta(self):
        if self._meta is None:
            self._meta = {}
        return self._meta

    其中,比较常用的参数:

url: 就是需要请求,并进行下一步处理的url
callback: 指定该请求返回的Response,由那个函数来处理。
method: 一般不需要指定,使用默认GET方法请求即可
headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道
        Host: media.readthedocs.org
        User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0
        Accept: text/css,*/*;q=0.1
        Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
        Accept-Encoding: gzip, deflate
        Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/
        Cookie: _ga=GA1.2.1612165614.1415584110;
        Connection: keep-alive
        If-Modified-Since: Mon, 25 Aug 2014 21:59:35 GMT
        Cache-Control: max-age=0
meta: 比较常用,在不同的请求之间传递数据使用的。字典dict型
        request_with_cookies = Request(url="http://www.example.com",
                                       cookies={'currency': 'USD', 'country': 'UY'},
                                       meta={'dont_merge_cookies': True})
encoding: 使用默认的 'utf-8' 就行。
dont_filter: indicates that this request should not be filtered by the scheduler. 
             This is used when you want to perform an identical request multiple times, 
             to ignore the duplicates filter. Use it with care, or you will get into crawling loops. 
             Default to False.
errback: 指定错误处理函数

    不出意外的话,接下来就是 Response 的源码:

# 部分代码
class Response(object_ref):

    def __init__(self, url, status=200, headers=None, body='', flags=None, request=None):
        self.headers = Headers(headers or {})
        self.status = int(status)
        self._set_body(body)
        self._set_url(url)
        self.request = request
        self.flags = [] if flags is None else list(flags)

    @property
    def meta(self):
        try:
            return self.request.meta
        except AttributeError:
            raise AttributeError("Response.meta not available, this response " \
                "is not tied to any request")

    参数跟上面的类似。

A Response object represents an HTTP response, which is usually
downloaded (by the Downloader) and fed to the Spiders for processing.
可以使用:
scrapy shell http://xxxx.xxx.xx

>>> dir(response)

查看信息

    在继续向下看:

# 第二个函数
    def parse_item(self, response):
        item = MyItem()
        # populate `item` fields
        # 相当于导航栏下面的列表页,此时可能还存在分页情况
        # and extract item_details_url
        yield scrapy.Request(item_details_url, self.parse_details, meta={'item': item})

    接收到第一个函数得到并遍历的所有url的请求响应Response。并在当前页面中查找了所有的详细实体的初略信息,以及单品详细的url地址。

    此时需要继续向下请求,请求详细的实体的页面。

    在这个函数中使用到了 item,也可以不使用。直接将信息(比如实体根据导航标签的大体分类),通过Request的meta属性,传递给下一个callback处理函数。


    继续向下看:

# 第三个函数
    def parse_details(self, response):
        item = response.meta['item']
        # populate more `item` fields
        return item

    此时,请求已经得到了实体的具体页面,也就是实体详细页。(比如,根据博客的文章列表点击进入了文章)。

    这时需要接收一下,从上一个函数中传递过来的信息。

def parse_details(self, response):
    item = response.meta['item']
# 也可以使用如下方式,设置一个默认值
    item = response.meta.get('item', None)
# 当 'item' key 不存在 meta字典中时,返回None

    然后在在本页中使用 xpath,css,re等来选择详细的字段,至于具体的选择,以后再说吧~~~本来想简单的写点,然后就这么多了 ... ...

    最后将最终得到的 item 返回即可。这样就能在  ITEM_PIPELINES 中得到数据,并进行下一步的处理了~~~





© 著作权归作者所有

明天以后

明天以后

粉丝 76
博文 130
码字总数 87367
作品 0
昌平
程序员
私信 提问
加载中

评论(2)

长白
博主NB!谢谢教导~
万万好样的
感谢博主分享
小猪的Python学习之旅 —— 4.Scrapy爬虫框架初体验

引言: 经过前面两节的学习,我们学会了使用urllib去模拟请求,使用 Beautiful Soup和正则表达式来处理网页以获取我们需要的数据。 对于经常重复用到的代码,我们都会单独抽取成自己的模块,...

coder_pig
2018/07/04
0
0
使用scrapy的定制爬虫-第一章-前言

这个系列文章还在逐步完成中,可能会多次编辑 这是一个系列文章,关于定制爬虫,使用scrapy. 这是前言. 爬虫,最广为所知用途是搜索引擎的网页抓取.也有很多其他的用途. 诸如各类比价网站(etao,惠...

斑ban
2013/04/02
1K
1
一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者
2018/04/25
0
0
Python高级爬虫框架Scrapy简介

Scrapy 框架 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网...

糖宝lsh
2018/09/06
44
0
爬虫入门之Scrapy框架基础框架结构及腾讯爬取(十)

Scrapy终端是一个交互终端,我们可以在未启动spider的情况下尝试及调试代码,也可以用来测试XPath或CSS表达式,查看他们的工作方式,方便我们爬取的网页中提取的数据。 如果安装了 IPython ...

善良小郎君
2018/07/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

链表中环的入口节点

给一个链表,若其中包含环,请找出该链表的环的入口结点,否则,输出null。 思路: public ListNode EntryNodeOfLoop(ListNode pHead) { if (pHead == null || pHead.next == null) ...

Garphy
7分钟前
2
0
Spring5 源码分析-容器刷新-invokeBeanFactoryPostProcessors()方法

上一篇:Spring5 源码分析-容器刷新-prepareBeanFactory()方法 该方法主要完成以下功能: 1.实例化ConfigurationClassPostProcessor,并调用ConfigurationClassPostProcessor.postProcessBe...

特拉仔
7分钟前
3
0
为什么MySQL用B+树做索引

索引这个词,相信大多数人已经相当熟悉了,很多人都知道MySQL的索引主要以B+树为主,但是要问到为什么用B+树,恐怕很少有人能把前因后果讲述的很完整。本文就来从头到尾介绍下数据库的索引。...

小致Daddy
32分钟前
4
0
网站前台的三级联动数据封装

我在进行项目时候遇到了一个进行数据封装的一个功能,进行数据的封装的功能也挺复杂,来回试了好几十种方法.最后使用的是这种方法. 使用一个pojo进行封装两个数据,一个是list一个是实体类. 具体...

小天丶羽
35分钟前
4
0
创龙基于TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA的SPI FLASH、硬件加密芯片

TL437xF-EVM是一款广州创龙基于TI AM437x ARM Cortex-A9 + Xilinx Spartan-6 FPGA设计的开发板,底板采用沉金无铅工艺的4层板设计,尺寸为240mm*130mm,它为用户提供了SOM-TL437xF核心板的测...

Tronlong创龙
37分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部