文档章节

pyspider爬虫学习-文档翻译-Script-Environment.md

sijinge
 sijinge
发布于 2017/09/06 14:17
字数 447
阅读 45
收藏 0
Script Environment 脚本环境
==================

Variables 变量
---------
* `self.project_name` #项目名称
* `self.project` information about current project #当前项目信息
* `self.response` #返回
* `self.task` #任务

About Script 关于脚本
------------
#“Handler”的名称并不重要,但是至少需要一个类继承自“BaseHandler”
* The name of `Handler` is not matters, but you need at least one class inherit from `BaseHandler`
#可以设置第三个参数来获得任务对象:“def callback(self,response,task)”
* A third parameter can be set to get task object: `def callback(self, response, task)`
#默认情况下,非200响应不会提交回调。使用“@catch_status_code_error”
* Non-200 response will not submit to callback by default. Use `@catch_status_code_error` 

About Environment 关于环境
-----------------
#“日志”、“打印”和异常将被捕获。
* `logging`, `print` and exceptions will be captured.
#您可以通过“from projects import some_project”命令将其他项目作为模块导入
* You can import other projects as module with `from projects import some_project`

### Web view #web视图
#以浏览器(类似)的方式查看页面
* view the page as a browser would render (approximately)

### HTML view #HTML视图
#查看当前回调(index_page、detail_page等等)的HTML
* view the HTML of the current callback (index_page, detail_page, etc.)

### Follows view #遵循视图
#可以从当前进行的回调查看回调
* view the callbacks that can be made from the current callback
#index_page后面的视图将显示可以执行的detail_page回调。
* index_page follows view will show the detail_page callbacks that can be executed.

### Messages view #消息视图
#显示[' self.send_message '](API / self.send_message)API发送的消息。
* shows the messages send by [`self.send_message`](apis/self.send_message) API.

### Enable CSS Selector Helper #使CSS选择器辅助
#启用Web view的CSS选择器助手。它获取您单击的元素的CSS选择器并将其添加到脚本中。
* Enable a CSS Selector Helper of the Web view. It gets the CSS Selector of the element you clicked then add it to your script.

© 著作权归作者所有

共有 人打赏支持
sijinge
粉丝 0
博文 41
码字总数 37230
作品 0
广州
架构师
私信 提问
使用pyspider抓取起点中文网小说数据

简介 pyspider是国人开发的相当好用的爬虫框架。虽然网上教程不是很多,但是文档详细,操作简单,非常适合用来做爬虫练习或者实现一些抓取数据的需求。 本文就以抓取起点中文小说网的小说作品...

某杰
2017/02/22
0
0
手把手教你写网络爬虫(3):开源爬虫框架对比

原文出处:拓海 介绍 大家好!我们从今天开始学习开源爬虫框架Scrapy,如果你看过《手把手》系列的前两篇,那么今天的内容就非常容易理解了。细心的读者也许会有疑问,为什么不学出身名门的A...

拓海
04/28
0
0
pyspider + RabbitMQ 使用记 - 上

接到一个爬虫任务,项目比较巨大,原来想用 Requests 配合正则做爬虫。后来得知了 pyspider 这个神器,才知道之前的想法 low 爆了。pyspider GitHub 按照 GitHub 上的安装教程安装好以后,我...

xh4n3
2015/08/04
0
0
用PySpider搜集2017年高校招生章程

个人认为PySpider是一个十分容易上手而且功能强大的Python爬虫框架。支持多线程爬取、JS动态解析、出错重试、定时爬取等等的功能。最重要的是,它通过web提供了可操作界面,使用非常人性化。...

临江仙卜算子
05/15
0
0
网络爬虫08: PySpider爬虫框架

爬虫的基础知识到这里,已经可以暂时告一段落,接下来就是学会使用框架来写爬虫,用框架会使爬虫代码更加简洁。在这之前,我也了解了一下关于Python爬虫都有哪些框架 Python常用爬虫框架 1....

代码打碟手
09/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

十月开源项目推荐:专为 Python 初学者准备的 IDE 你用过吗?

每月新增开源项目。顾名思义,每月更新一期。我们会从社区上个月新收录的开源项目中,挑选出有价值的、有用的、优秀的、或者好玩的开源项目来和大家分享。数量不多,但我们力求推荐的都是精品...

编辑部的故事
26分钟前
6
0
Java/Android 获取文件夹的文件列表(file.listFiles())并按名称排序,中文优先

排序规则 因为是中国人,习惯性看中文文件夹放前面比较顺眼,所以在别人博客(https://blog.csdn.net/da_caoyuan/article/details/56664673)的基础上,加上了自己的排序规则。 默认排序规则...

她叫我小渝
27分钟前
0
0
RabbitMQ通过shovel插件迁移数据

前言 生产环境中会遇到RabbitMQ数据迁移的场景,例如:切换云服务厂商、不同Region之间数据迁移、新搭建RabbitMQ实例,数据需要同步至新的RabbitMQ实例。 前提条件: 源RabbitMQ实例打开了s...

中间件小哥
30分钟前
0
0
kubernetes 环境搭建

kubernetes 简介:Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful)。 点击此处查看官网详情。...

MrPei
45分钟前
1
0
关于scala macro的example

http://www.bbartosz.com/blog/2016/09/24/fun-with-scalameta-examples-part1/

Littlebox
47分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部