文档章节

Python Scrapy 实战

janlle
 janlle
发布于 2019/09/25 10:51
字数 1227
阅读 5
收藏 0

# Python Scrapy

## 什么是爬虫?

网络爬虫(英语:web crawler),也叫网络蜘蛛(spider),是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

## Python 爬虫

在爬虫领域,Python几乎是霸主地位,将网络一切数据作为资源,通过自动化程序进行有针对性的数据采集以及处理。从事该领域应学习爬虫策略、高性能异步IO、分布式爬虫等,并针对Scrapy框架源码进行深入剖析,从而理解其原理并实现自定义爬虫框架。

## Python 爬虫爬虫框架 Scrapy

Scrapy 是用 Python 编写实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。

## Python Scrapy 核心


**Scrapy Engine(引擎):** 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。

**Scheduler(调度器): **它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。

**Downloader(下载器):**负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,

**Spider(爬虫):**它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器).

**Item Pipeline(管道):**它负责处理Spider中获取到的Item,并进行进行后期处理(详细分析、过滤、存储等)的地方。

**Downloader Middlewares(下载中间件):**你可以当作是一个可以自定义扩展下载功能的组件。

**Spider Middlewares(Spider中间件):**你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)


## Scrapy Demo

```
# 创建爬虫虚拟环境
$ conda create --name scrapy python=3.6

# 激活虚拟环境
$ activate scrapy

# 安装scrapy
$ conda install scrapy

# 使用 scrapy 提供的工具创建爬虫项目
$ scrapy startproject myScrapy

# 启动爬虫
$ scrapy crawl scrapyName

```

## 项目文件介绍

* scrapy.cfg: 项目的配置文件。

* mySpider/: 项目的Python模块,将会从这里引用代码。

* mySpider/items.py: 项目的目标文件。

* mySpider/pipelines.py: 项目的管道文件。

* mySpider/settings.py: 项目的设置文件。

* mySpider/spiders/: 存储爬虫代码目录。

## 爬取豆瓣 top250

* item.py
```
import scrapy

class DoubanItem(scrapy.Item):
    name = scrapy.Field()
    director = scrapy.Field()
    detail = scrapy.Field()
    star = scrapy.Field()
    synopsis = scrapy.Field()
    comment = scrapy.Field()
```

* spiders/DoubanSpider.py

```
# coding:utf-8

import scrapy
from scrapy import Request

from douban.items import DoubanItem


class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ['douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        movie_list = response.xpath("//div[@class='article']/ol/li")
        if movie_list and len(movie_list) > 0:
            for movie in movie_list:
                item = DoubanItem()
                item['name'] = movie.xpath("./div/div[2]/div[1]/a/span[1]/text()").extract()[0]
                item['director'] = movie.xpath("normalize-space(./div/div[2]/div[2]/p/text())").extract_first()
                item['detail'] = movie.xpath("normalize-space(./div/div[2]/div[2]/p[1]/text())").extract()[0]
                item['star'] = movie.xpath("./div/div[2]/div[2]/div/span[2]/text()").extract()[0]
                item['synopsis'] = movie.xpath("normalize-space(./div/div[2]/div[2]/p[2]/span/text())").extract()[0]
                item['comment'] = movie.xpath("./div/div[2]/div[2]/div/span[4]/text()").extract()[0]
                yield item

        next_link = response.xpath("//span[@class='next']/a/@href").extract()
        if next_link:
            yield Request("https://movie.douban.com/top250" + next_link[0], callback=self.parse, dont_filter=True)

```

* pipelines.py

```
# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
from database_handler import DatabaseHandler


class DoubanPipeline(object):
    def __init__(self):
        self.db = DatabaseHandler(host="xxx", username="xxx", password="xxx", database="xxx")

    def close_spider(self, spider):
        self.db.close()

    # 将 Item 实例保存到文件
    def process_item(self, item, spider):
        sql = "insert into t_douban(name,director,detail,star,synopsis,comment) values('%s', '%s', '%s', '%s', '%s', '%s')" % (
            item['name'], item['director'], item['detail'], item['star'], item['synopsis'], item['comment'])
        self.db.insert(sql)
        return item

```


* DatabaseHandler.py

```
# coding:utf-8

import pymysql
from pymysql.err import *


class DatabaseHandler(object):
    def __init__(self, host, username, password, database, port=3306):
        """初始化数据库连接"""
        self.host = host
        self.username = username
        self.password = password
        self.port = port
        self.database = database
        self.db = pymysql.connect(self.host, self.username, self.password, self.database, self.port, charset='utf8')
        self.cursor = None

    def execute(self, sql):
        """执行SQL语句"""
        try:
            self.cursor = self.db.cursor()
            self.cursor.execute(sql)
            self.db.commit()
        except (MySQLError, ProgrammingError) as e:
            print(e)
            self.db.rollback()
        else:
            print("rowCount: %s rowNumber: %s" % (self.cursor.rowcount, self.cursor.rownumber))
        finally:
            self.cursor.close()

    def update(self, sql):
        """ 更新操作"""
        self.execute(sql)

    def insert(self, sql):
        """插入数据"""
        self.execute(sql)
        return self.cursor.lastrowid

    def insert_bath(self, sql, rows):
        """批量插入"""
        try:
            self.cursor.executemany(sql, rows)
            self.db.commit()
        except (MySQLError, ProgrammingError) as e:
            print(e)
            self.db.rollback()
        else:
            print("rowCount: %s rowNumber: %s" % (self.cursor.rowcount, self.cursor.rownumber))
        finally:
            self.cursor.close()

    def delete(self, sql):
        """删除数据"""
        self.execute(sql)

    def select(self, sql):
        """查询数据 返回 map 类型的数据"""
        self.cursor = self.db.cursor(cursor=pymysql.cursors.DictCursor)
        result = []
        try:
            self.cursor.execute(sql)
            data = self.cursor.fetchall()
            for row in data:
                result.append(row)
        except MySQLError as e:
            print(e)
        else:
            print(f"rowCount: {self.cursor.rowcount} rowNumber: {self.cursor.rownumber}")
            return result
        finally:
            self.cursor.close()

    def call_proc(self, name):
        """调用存储过程"""
        self.cursor.callproc(name)
        return self.cursor.fetchone()

    def close(self):
        """关闭连接"""
        self.db.close()


if __name__ == "__main__":
    pass

```

* 修改settings.py

```
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36'


ITEM_PIPELINES = {
   'mySpider.pipelines.DoubanPipeline': 300,
}

```

## run

`scrapy crawl douban`

© 著作权归作者所有

janlle
粉丝 0
博文 24
码字总数 45495
作品 0
广州
程序员
私信 提问
加载中

评论(0)

高级爬虫(一):Scrapy爬虫框架的安装

Hi 小伙伴们差不多有半个月没有更新干货了,一直有点忙,而且这中间还有曲折过程,也就没有更新文章. 但今天无论如何也要更新一篇文章,接下来是爬虫高级篇重点讲解的地方! 最近会连载Scrap...

Python绿色通道
2018/04/22
0
0
Python3爬虫视频学习教程

大家好哈,现在呢静觅博客已经两年多啦,可能大家过来更多看到的是爬虫方面的博文,首先非常感谢大家的支持,希望我的博文对大家有帮助! 最近,主要的任务就是开发性感美女图片大全,使用p...

yangjiyue0520
2017/11/18
0
0
一个月入门Python爬虫,快速获取大规模数据

数据是创造和决策的原材料,高质量的数据都价值不菲。而利用爬虫,我们可以获取大量的价值数据,经分析可以发挥巨大的价值,比如: 豆瓣、知乎:爬取优质答案,筛选出各话题下热门内容,探索...

Python开发者
2018/04/25
0
0
分享我自己写的一套Python爬虫学习经验

最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫感兴...

崔庆才
2015/02/23
4.1K
25
python 安装配置 及 虚拟环境 for windows

python 安装配置 for windows 分布式实战(干货) spring cloud 实战(干货) mybatis 实战(干货) spring boot 实战(干货) React 入门实战(干货) 构建中小型互联网企业架构(干货) py...

qq_27384769
2018/04/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

网站被挂马该怎么彻底的解决 2020年技术篇分享

在网站运营以及优化这方面总是会有一些无所事事的人,冒着风险做各种各样的违规行为的工作,有的时候忽然发现自己的公司网站,就被他人直接挂了木马,那些超链接鼠标点击进来,全部都是灰色内...

网站安全
31分钟前
46
0
php环境搭建+Hello World

1 概述 基础教程,搭建php入门基本环境.环境win10. 2 安装php 2.1 下载 官网点击这里 2.2 安装 其实只需要添加环境变量即可.win+Pause,高级系统设置: Path这里新建一个,刚才的php目录. 2.3 测...

氷泠
34分钟前
40
0
Minecraft Fabric 教程 #9 添加盔甲

首发于Enaium的个人博客 创建一个盔甲类 public class EndArmorMaterials implements ArmorMaterial { [...]} 复制一下内容 private static final int[] BASE_DURABILITY = {13, ......

Enaium
37分钟前
62
0
PHPUnit简介及使用

一、PHPUnit是什么? 1、它是一款轻量级的PHP测试框架,地址:http://www.phpunit.cn 2、手册:http://www.phpunit.cn/ 二、为什么要用PHPUnit? 1、可以通过命令操控测试脚本 2、可以测试性...

dragon_tech
44分钟前
76
0
在微服务架构中监听以太坊合约事件【Eventeum】

当构建大规模DApp时,监视以太坊的事件会变得很痛苦。在这篇文章中,我们将介绍如何使用Eventeum将后端微服务与以太坊智能合约事件之间桥接起来。 以太坊教程链接:Dapp入门 | 电商Dapp实战 ...

区块链教程
53分钟前
71
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部