文档章节

pyspider爬虫学习-文档翻译-Script-Environment.md

sijinge
 sijinge
发布于 2017/09/06 14:17
字数 447
阅读 48
收藏 0
Script Environment 脚本环境
==================

Variables 变量
---------
* `self.project_name` #项目名称
* `self.project` information about current project #当前项目信息
* `self.response` #返回
* `self.task` #任务

About Script 关于脚本
------------
#“Handler”的名称并不重要,但是至少需要一个类继承自“BaseHandler”
* The name of `Handler` is not matters, but you need at least one class inherit from `BaseHandler`
#可以设置第三个参数来获得任务对象:“def callback(self,response,task)”
* A third parameter can be set to get task object: `def callback(self, response, task)`
#默认情况下,非200响应不会提交回调。使用“@catch_status_code_error”
* Non-200 response will not submit to callback by default. Use `@catch_status_code_error` 

About Environment 关于环境
-----------------
#“日志”、“打印”和异常将被捕获。
* `logging`, `print` and exceptions will be captured.
#您可以通过“from projects import some_project”命令将其他项目作为模块导入
* You can import other projects as module with `from projects import some_project`

### Web view #web视图
#以浏览器(类似)的方式查看页面
* view the page as a browser would render (approximately)

### HTML view #HTML视图
#查看当前回调(index_page、detail_page等等)的HTML
* view the HTML of the current callback (index_page, detail_page, etc.)

### Follows view #遵循视图
#可以从当前进行的回调查看回调
* view the callbacks that can be made from the current callback
#index_page后面的视图将显示可以执行的detail_page回调。
* index_page follows view will show the detail_page callbacks that can be executed.

### Messages view #消息视图
#显示[' self.send_message '](API / self.send_message)API发送的消息。
* shows the messages send by [`self.send_message`](apis/self.send_message) API.

### Enable CSS Selector Helper #使CSS选择器辅助
#启用Web view的CSS选择器助手。它获取您单击的元素的CSS选择器并将其添加到脚本中。
* Enable a CSS Selector Helper of the Web view. It gets the CSS Selector of the element you clicked then add it to your script.

© 著作权归作者所有

共有 人打赏支持
sijinge
粉丝 0
博文 41
码字总数 37230
作品 0
广州
架构师
私信 提问
使用pyspider抓取起点中文网小说数据

简介 pyspider是国人开发的相当好用的爬虫框架。虽然网上教程不是很多,但是文档详细,操作简单,非常适合用来做爬虫练习或者实现一些抓取数据的需求。 本文就以抓取起点中文小说网的小说作品...

某杰
2017/02/22
0
0
手把手教你写网络爬虫(3):开源爬虫框架对比

原文出处:拓海 介绍 大家好!我们从今天开始学习开源爬虫框架Scrapy,如果你看过《手把手》系列的前两篇,那么今天的内容就非常容易理解了。细心的读者也许会有疑问,为什么不学出身名门的A...

拓海
2018/04/28
0
0
pyspider + RabbitMQ 使用记 - 上

接到一个爬虫任务,项目比较巨大,原来想用 Requests 配合正则做爬虫。后来得知了 pyspider 这个神器,才知道之前的想法 low 爆了。pyspider GitHub 按照 GitHub 上的安装教程安装好以后,我...

xh4n3
2015/08/04
0
0
OS X安装pyspider遇到问题

新手一个,学完python,想玩儿爬虫,可安装pyspider的时候报错不知道怎么回事,于是来请教大牛,截图如下:(另外我是从命令行输入 pip install pyspider 来安装的)...

AaronYun
2015/08/07
697
1
用PySpider搜集2017年高校招生章程

个人认为PySpider是一个十分容易上手而且功能强大的Python爬虫框架。支持多线程爬取、JS动态解析、出错重试、定时爬取等等的功能。最重要的是,它通过web提供了可操作界面,使用非常人性化。...

临江仙卜算子
2018/05/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

js 写文件

//写文件function doSave(value, type, name) {    var blob;    if (typeof window.Blob == "function") {        blob = new Blob([value], {type: type});    }......

重城重楼
9分钟前
0
0
Ubuntu and Apache 搭建 Let's Encrypt SSL Https

本文参考来着来自https://www.howtoing.com/install-free-lets-encrypt-ssl-certificate-for-apache-on-debian-and-ubuntu 感谢作者的分享 本事例环境介绍 ubuntu (Version 16.04.1 LTS) ubu......

罗培海
12分钟前
5
0
如何优雅的使用RabbitMQ

目录 RabbitMQ无疑是目前最流行的消息队列之一,对各种语言环境的支持也很丰富,作为一个.NET developer有必要学习和了解这一工具。消息队列的使用场景大概有3种: 1、系统集成,分布式系统的...

编程SHA
15分钟前
0
0
阿里开发者们的第19个感悟:Simple is better.

1月16日,Simple is better.这是我们送给开发者的第19个感悟。 Mars,基于矩阵的统一计算框架。已经开源。那么:Mars 是什么,能做什么,怎么做的;Mars 如何分布式地执行等。可以与继盛多交...

阿里云官方博客
16分钟前
1
0
StringBuffer 和 StringBuilder 的 3 个区别

StringBuffer 和 StringBuilder 它们都是可变的字符串,不过它们之间的区别是 Java 初中级面试出现几率十分高的一道题。这么简单的一道题,栈长在最近的面试过程中,却经常遇到很多求职者说反...

Java技术栈
20分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部