文档章节

pyspider爬虫学习-文档翻译-Script-Environment.md

sijinge
 sijinge
发布于 2017/09/06 14:17
字数 447
阅读 42
收藏 0
Script Environment 脚本环境
==================

Variables 变量
---------
* `self.project_name` #项目名称
* `self.project` information about current project #当前项目信息
* `self.response` #返回
* `self.task` #任务

About Script 关于脚本
------------
#“Handler”的名称并不重要,但是至少需要一个类继承自“BaseHandler”
* The name of `Handler` is not matters, but you need at least one class inherit from `BaseHandler`
#可以设置第三个参数来获得任务对象:“def callback(self,response,task)”
* A third parameter can be set to get task object: `def callback(self, response, task)`
#默认情况下,非200响应不会提交回调。使用“@catch_status_code_error”
* Non-200 response will not submit to callback by default. Use `@catch_status_code_error` 

About Environment 关于环境
-----------------
#“日志”、“打印”和异常将被捕获。
* `logging`, `print` and exceptions will be captured.
#您可以通过“from projects import some_project”命令将其他项目作为模块导入
* You can import other projects as module with `from projects import some_project`

### Web view #web视图
#以浏览器(类似)的方式查看页面
* view the page as a browser would render (approximately)

### HTML view #HTML视图
#查看当前回调(index_page、detail_page等等)的HTML
* view the HTML of the current callback (index_page, detail_page, etc.)

### Follows view #遵循视图
#可以从当前进行的回调查看回调
* view the callbacks that can be made from the current callback
#index_page后面的视图将显示可以执行的detail_page回调。
* index_page follows view will show the detail_page callbacks that can be executed.

### Messages view #消息视图
#显示[' self.send_message '](API / self.send_message)API发送的消息。
* shows the messages send by [`self.send_message`](apis/self.send_message) API.

### Enable CSS Selector Helper #使CSS选择器辅助
#启用Web view的CSS选择器助手。它获取您单击的元素的CSS选择器并将其添加到脚本中。
* Enable a CSS Selector Helper of the Web view. It gets the CSS Selector of the element you clicked then add it to your script.

© 著作权归作者所有

共有 人打赏支持
sijinge
粉丝 0
博文 41
码字总数 37230
作品 0
广州
架构师
使用pyspider抓取起点中文网小说数据

简介 pyspider是国人开发的相当好用的爬虫框架。虽然网上教程不是很多,但是文档详细,操作简单,非常适合用来做爬虫练习或者实现一些抓取数据的需求。 本文就以抓取起点中文小说网的小说作品...

某杰
2017/02/22
0
0
手把手教你写网络爬虫(3):开源爬虫框架对比

原文出处:拓海 介绍 大家好!我们从今天开始学习开源爬虫框架Scrapy,如果你看过《手把手》系列的前两篇,那么今天的内容就非常容易理解了。细心的读者也许会有疑问,为什么不学出身名门的A...

拓海
04/28
0
0
pyspider + RabbitMQ 使用记 - 上

接到一个爬虫任务,项目比较巨大,原来想用 Requests 配合正则做爬虫。后来得知了 pyspider 这个神器,才知道之前的想法 low 爆了。pyspider GitHub 按照 GitHub 上的安装教程安装好以后,我...

xh4n3
2015/08/04
0
0
用PySpider搜集2017年高校招生章程

个人认为PySpider是一个十分容易上手而且功能强大的Python爬虫框架。支持多线程爬取、JS动态解析、出错重试、定时爬取等等的功能。最重要的是,它通过web提供了可操作界面,使用非常人性化。...

临江仙卜算子
05/15
0
0
网络爬虫08: PySpider爬虫框架

爬虫的基础知识到这里,已经可以暂时告一段落,接下来就是学会使用框架来写爬虫,用框架会使爬虫代码更加简洁。在这之前,我也了解了一下关于Python爬虫都有哪些框架 Python常用爬虫框架 1....

代码打碟手
09/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

redis-hash

哈希类型是指健值本身又是一个键值对结构 基本命令: hset key field value 设置值 hget(获取),hdel(删除),hlen(计算field个数),hmget(批量设置),hexists(是否存在),hkeys(获取所有的...

拐美人
29分钟前
1
0
简单的svm例子

数据来源:https://github.com/oumiga1314/Coursera-ML-AndrewNg-Notes/blob/master/code/ex6-SVM/data/ex6data1.mat import pandas as pd import numpy as np import scipy.io as sio impor......

南桥北木
33分钟前
0
0
android 关于View的一些整理

1、Button text的值为英文时,会自动转换成大写。如需取消,设置android:textAllCaps="false" 2、控件的可见性 可以在layout的配置文件中,配置android:visibility属性 调用setVisibility()...

西米小娅
43分钟前
0
0
Spring JDBC数据源分析

Spring数据源分析 分析这样一段代码: package com.jason.spring.datasource.jdbc;import org.springframework.context.support.ClassPathXmlApplicationContext;import org.springframew......

宸明
51分钟前
1
0
FatJar:适用于sdk多module打包和合并多个jar的gradle插件

usage: 1.下载fatJar.gradle放置于project根目录 2.在project的build.gradle中添加依赖和配置: apply from: 'fatJar.gradle'buildscript { dependencies { classpath 'xyz......

SuShine
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部