图片下载

原创
2019/06/27 09:58
阅读数 137

今天要学习的是图片下载,Scrapy用ImagesPipeline类提供一种方便的方式来下载和存储图片;

  • (1)首先还是使用dribbble.com这个网站来爬取数据,先在项目中的dribbble.py文件中根据响应来获取图片的src属性,这样我们就可以获取到了图片的路径了,这个我们之前已经学过了;

  • (2)然后在items.py文件中根据自己的需求添加字段,这里我们可以根据需求创建图片地址的字段、标题字段、时间字段等

import scrapy
class XkdDribbbleSpiderItem(scrapy.Item):
    title = scrapy.Field()
    image_url = scrapy.Field()
    date = scrapy.Field()
  • (3)接着我们还需要在settings文件中设置条件和属性,如在ITEM_PIPELINES的列表里面定义一个images的pipline,是用来处理图片的下载过程的。然后根据item中的字段来设置哪一个内容需要被下载。还需要指定图片下载存储的路径,这个路径可以根据自己的需求指定;
from .pipelines import ImagePipeline
import os

# 获取项目根目录
BASE_DIR = os.path.dirname(os.path.abspath(__file__))

ITEM_PIPELINES = {
   # 'XKD_Dribbble_Spider.pipelines.XkdDribbbleSpiderPipeline': 300,
   # 当items.py模块yield之后,默认就是下载image_url的页面
   'scrapy.pipelines.images.ImagePipeline': 1,
}

# 获取item中,image_url的地址,并且下载
IMAGES_URLS_FIELD = 'image_url'

# 指定图片下载存储的路径
IMAGES_STORE = os.path.join(BASE_DIR, 'images')
  • (4)然后在dribbble.py文件中实例化items.py文件中的类,再把获取到的图片路径赋给类中的字段,这里的字段名要与items.py文件中的字段名一致,记得yield这个实例化对象;
import scrapy
from urllib import parse
from scrapy.http import Request
from ..items import XkdDribbbleSpiderItem
from datetime import datetime

class DribbbleSpider(scrapy.Spider):
    name = 'dribbble'
    allowed_domains = ['dribbble.com']
    start_urls = ['https://dribbble.com/stories']

    def parse(self, response):
        # 获取a标签的url值
        # urls = response.css('h2 a::attr(href)').extract()
        a_nodes = response.css('header div.teaser a')
        for a_node in a_nodes:
            # print(a_node)
            a_url = a_node.css('::attr(href)').extract()[0]
            a_image_url = a_node.css('img::attr(src)').extract()[0]
            yield Request(url=parse.urljoin(response.url, a_url), callback=self.parse_analyse, meta={'a_image_url': a_image_url})

    def parse_analyse(self, response):
        a_image_url = response.meta.get('a_image_url')
        title = response.css('.post header h1::text').extract()[0]
        date = response.css('span.date::text').extract_first()
        date = date.strip()
        date = datetime.strptime(date, '%b %d, %Y').date()

        # 构建模型
        dri_item = XkdDribbbleSpiderItem()
        dri_item['a_image_url'] = a_image_url
        dri_item['title'] = title
        dri_item['date'] = date
        yield dri_item
  • (5)编辑pipelines.py文件,自定义ImagePipeline类继承ImagesPipeline,导入需要用到的库。要修改图片的保存路径需要重写ImagesPipeline类中的file_path方法;
# 导入自定义ImagePipeline需要的库
from scrapy.http import Request
from scrapy.utils.python import to_bytes
import hashlib
from scrapy.pipelines.images import ImagesPipeline
from datetime import datetime
class XkdDribbbleSpiderPipeline(object):
    def process_item(self, item, spider):
        return item
class ImagePipeline(ImagesPipeline):
    def file_path(self, request, response=None, info=None):
        ## start of deprecation warning block (can be removed in the future)
        def _warn():
            from scrapy.exceptions import ScrapyDeprecationWarning
            import warnings
            warnings.warn('ImagesPipeline.image_key(url) and file_key(url) methods are deprecated, '
                          'please use file_path(request, response=None, info=None) instead',
                          category=ScrapyDeprecationWarning, stacklevel=1)
        # check if called from image_key or file_key with url as first argument
        if not isinstance(request, Request):
            _warn()
            url = request
        else:
            url = request.url
        # detect if file_key() or image_key() methods have been overridden
        if not hasattr(self.file_key, '_base'):
            _warn()
            return self.file_key(url)
        elif not hasattr(self.image_key, '_base'):
            _warn()
            return self.image_key(url)
        ## end of deprecation warning block
        image_guid = hashlib.sha1(to_bytes(url)).hexdigest()  # change to request.url after deprecation
        # 修改为时间为目录
        return '{}/{}.jpg'.format(datetime.now().year,image_guid)

运行代码我们能看到打印出来的信息,显示的字段信息是根据我们在蜘蛛文件中构建的模型决定的。然后这些图片就会下载到我们指定的文件夹中

Pipeline介绍

  • Item Pipeline又称之为管道,顾名思义就是对数据的过滤处理,主要作用包括:清理HTML数据、验证爬取数据,检查爬取字段、查重并丢弃重复内容、将爬取结果保存到数据库等;

  • 创建一个项目的时候都会自带pipeline,pipeline的几个核心方法有:

  • open_spider(spider):在开启spider的时候触发的,常用于初始化操作,如常见开启数据库连接或打开文件;

  • close_spider(spider):在关闭spider的时候触发的,常用于关闭数据库连接;

  • process_item(item, spider):item表示被爬取的item,spider 表示爬取该item的spider,每个item pipeline组件都需要调用该方法,这个方法必须返回一个 Item (或任何继承类)对象, 或是抛出 DropItem 异常,被丢弃的item将不会被之后的pipeline组件所处理;

  • from_crawler(cls, crawler):是一个类方法,常用于从settings.py获取配置信息;

参考:https://www.9xkd.com/user/plan-view.html?id=1835482827

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部