文档章节

Scrapy框架下第一个爬虫

StanleySun
 StanleySun
发布于 2017/08/06 17:50
字数 797
阅读 40
收藏 0

1. 安装scrapy

pip install scrapy

2. 第一个爬虫代码myspider.py

import scrapy

class BlogSpider(scrapy.Spider):
    name = 'blogspider'
    start_urls = ['https://blog.scrapinghub.com']

    def parse(self, response):
        for title in response.css('h2.entry-title'):
            yield {'title': title.css('a ::text').extract_first()}

        for next_page in response.css('div.prev-post > a'):
            yield response.follow(next_page, self.parse)

3. 运行

scrapy runspider myspider.py -o result.json

4. 运行结果

017-08-06 17:44:56 [scrapy.utils.log] INFO: Scrapy 1.4.0 started (bot: scrapybot)
2017-08-06 17:44:56 [scrapy.utils.log] INFO: Overridden settings: {'SPIDER_LOADER_WARN_ONLY': True}
2017-08-06 17:44:56 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.memusage.MemoryUsage',

...

2017-08-06 17:44:56 [scrapy.core.engine] INFO: Spider opened
2017-08-06 17:44:56 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-08-06 17:44:56 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-08-06 17:45:01 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://blog.scrapinghub.com> (referer: None)
2017-08-06 17:45:01 [scrapy.core.scraper] DEBUG: Scraped from <200 https://blog.scrapinghub.com>
{'title': u'Scraping the Steam Game Store with Scrapy'}
2017-08-06 17:45:01 [scrapy.core.scraper] DEBUG: Scraped from <200 https://blog.scrapinghub.com>
{'title': u'Do Androids Dream of Electric Sheep?'}

...

2017-08-06 17:45:12 [scrapy.core.scraper] DEBUG: Scraped from <200 https://blog.scrapinghub.com/page/11/>
{'title': u'Hello, world'}
2017-08-06 17:45:12 [scrapy.core.engine] INFO: Closing spider (finished)
2017-08-06 17:45:12 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 2933,
 'downloader/request_count': 11,
 'downloader/request_method_count/GET': 11,
 'downloader/response_bytes': 123915,
 'downloader/response_count': 11,
 'downloader/response_status_count/200': 11,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 8, 6, 9, 45, 12, 168728),
 'item_scraped_count': 105,
 'log_count/DEBUG': 117,
 'log_count/INFO': 7,
 'memusage/max': 43909120,
 'memusage/startup': 43909120,
 'request_depth_max': 10,
 'response_received_count': 11,
 'scheduler/dequeued': 11,
 'scheduler/dequeued/memory': 11,
 'scheduler/enqueued': 11,
 'scheduler/enqueued/memory': 11,
 'start_time': datetime.datetime(2017, 8, 6, 9, 44, 56, 752503)}
2017-08-06 17:45:12 [scrapy.core.engine] INFO: Spider closed (finished)

生成结果的文件result.json 

[
{"title": "Scraping the Steam Game Store with Scrapy"},
{"title": "Do Androids Dream of Electric Sheep?"},
{"title": "Deploy your Scrapy Spiders from GitHub"},
{"title": "Looking Back at 2016"},
{"title": "How to Increase Sales with Online Reputation Management"},
{"title": "How to Build your own Price Monitoring Tool"},

...

{"title": "Spoofing your Scrapy bot IP using tsocks"},
{"title": "Hello, world"}
]

 

解析运行过程

当你运行下面命令时,Scrapy框架会启动爬虫引擎,根据myspider.py中的逻辑进行抓取网页,然后把结果存到result.json中。

scrapy runspider myspider.py -o result.json

 

第一步:爬虫先请求start_urls中定义到URLs。本例中,只有一个URL。请求该URL返回内容,如下所示。

...

<h2 class="entry-title">
	<a href="https://blog.scrapinghub.com/2017/07/07/scraping-the-steam-game-store-with-scrapy/" rel="bookmark">Scraping the Steam Game Store with Scrapy</a>
</h2>

...

<h2 class="entry-title">
  <a href="https://blog.scrapinghub.com/2016/10/06/interview-how-up-hail-uses-scrapy-to-increase-transparency/" rel="bookmark">Interview: How Up Hail uses Scrapy to Increase Transparency</a>
</h2>

...


<div class="col-md-6 prev-post">		
  <a href="https://blog.scrapinghub.com/page/2/">OLDER POST<i class="fa fa-angle-double-right"></i></a>				
</div>

...

 

第二步:调用callback方法parse,解析返回到内容。在回调函数parse中,爬虫循环使用CSS选择器 h2.entry-title,找出网页中的<h2 class="entry-title">元素,并这些元素中的text找出来,生成Python的dict格式数据。

当前页中所有的h2.entry-title元素找完以后,爬虫会执行下面的代码

for next_page in response.css('div.prev-post > a'):
            yield response.follow(next_page, self.parse)

它会找div.prev-post元素,然后再次递归执行parse方法。从网页上可以看到,div.prev-post元素是翻页链接,所以,爬虫会不断翻页,知道抓取所有的网页。

第三步: 生成的字典数据存到result.json文件中

 

scrapy的任务是异步执行的,也就是说,它不用等一个请求返回以后才发送另一个请求,而是可以同时进行的。这可以加快运行速度。我们也可以对Scrapy进行设置,比如每一个请求延迟一段时间,等等。

© 著作权归作者所有

StanleySun
粉丝 24
博文 46
码字总数 44524
作品 0
技术主管
私信 提问
python scrapy学习笔记

scrapy是python最有名的爬虫框架之一,可以很方便的进行web抓取,并且提供了很强的定制型。 一、安装scrapy # pip install scrapy 二、基本使用 1、初始化scrapy项目 # scrapy startproject ...

yaoliang833
2016/12/27
0
0
SeimiCrawler v1.3.0 发布,Java 爬虫框架

Changelog v1.3.0 支持在Request对象中,通过header(map)来自定义本次请求的header,以及支持通过seimiCookies来自定义cookies,自定义cookies会直接进入cookiesStore,对同域下第二次请求依...

无极小子
2016/12/09
1K
5
网站爬虫框架库 - Scrapy-Python

scrapy Scrapy:Python的爬虫框架 实例Demo 抓取:汽车之家、瓜子、链家 等数据信息 版本+环境库 Python2.7 + Scrapy1.12 初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的...

蓝黑色时代
2017/10/18
4.4K
3
Scrapy 框架基本了解以及Spiders爬虫

Scrapy 框架基本了解以及Spiders爬虫,首先我们先了解下Scrapy 框架基本原理,然后我们用一个简单的案例来介绍Scrapy的使用。 Scrapy 框架基本了解: 1、Scrapy是用纯Python实现一个为了爬取...

博行天下
2017/11/28
0
0
如何科学的抢红包:年末致富有新招,写个程序抢红包

0×00 背景 今天拜读了来自IDF实验室的《如何科学的抢红包:年末致富有新招,写个程序抢红包》,自己这段时间正在学习爬虫的相关知识,对scrapy框架有所了解,就在此代码基础上加进了scrapy,...

开源中国段子手
2015/12/30
222
0

没有更多内容

加载失败,请刷新页面

加载更多

计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
今天
5
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
今天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
今天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
今天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
今天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部