文档章节

pyspider爬虫学习-API-self.send_message.md

sijinge
 sijinge
发布于 2017/09/08 16:50
字数 256
阅读 208
收藏 0

精选30+云产品,助力企业轻松上云!>>>

self.send_message
=================

self.send_message(project, msg, [url])
--------------------------------------
#将消息发送到其他项目,可以接收'def on_message(self,project,message)'的回调。
send messages to other project. can been received by `def on_message(self, project, message)` callback.

- `project` - other project name #其它项目名
- `msg` - any json-able object #任何json对象
- `url` - result will been overwrite if have same `taskid`. `send_message` share a same `taskid` by default. Change this to return multiple result by one response. #如果有相同的'taskid',返回结果会被覆盖。在默认情况下,'send_message'有一个相同的'taskid',将此更改为一个响应返回多个结果。

```python
def detail_page(self, response):
    for i, each in enumerate(response.json['products']):
        self.send_message(self.project_name, {
                "name": each['name'],
                'price': each['prices'],
             }, url="%s#%s" % (response.url, i))

def on_message(self, project, msg):
    return msg
``` 

pyspider send_message [OPTIONS] PROJECT MESSAGE
-----------------------------------------------
#您还可以从命令行发送消息。
You can also send message from command line.

```
Usage: pyspider send_message [OPTIONS] PROJECT MESSAGE
  #从命令行发送消息到项目
  Send Message to project from command line

Options:
  --scheduler-rpc TEXT  xmlrpc path of scheduler
  --help                Show this message and exit.
```

def on_message(self, project, message)
--------------------------------------
#接收来自其他项目的消息
receive message from other project
sijinge
粉丝 0
博文 48
码字总数 48130
作品 0
广州
架构师
私信 提问
加载中
请先登录后再评论。
PySpider 使用过程中的问题记录

问题记录 PyCurl的问题 安装时出现: 这个问题是系统的libcurl编译方式引起的,更改环境变量为即可。 解决方法来自这里 解决方式: wsgidav的问题 运行时出现 此问题是因为wsgidav最新版为3...

Shaneee
2019/10/10
85
0
【爬虫】进阶修习系列 · 一

本文会涉及以下内容:【不定时修改中。。。】 1. pyspider的介绍; 2. 爬虫架构的典型设计; 3. 垂直搜索引擎的初探。 PySpider 之前的爬虫策略很简单,用得python2.7:urllib2 + Beautiful...

jxfactor
2015/10/22
0
0
pyspider兼容python3.7解决方案

最近再学习python3爬虫,遇到了pyspider不兼容python3.7的问题,记录一下我解决的步骤: 1.找到pyspider安装目录Libsite-packagespyspider e.g:C:Users用户AppDataLocalProgramsPythonPytho...

码叔
03/27
0
0
Pyspider的简单介绍和初使用

Pyspider Pyspider是由国人(binux)编写的强大的网络爬虫系统 Ptspider带有强大的WebUi / 脚本编辑器 / 任务监控器 / 项目管理器以及结果处理器。他支持多种数据库后端 / 多种消息队列 / Java...

osc_2kahpclc
01/13
7
0
Python爬虫:常用爬虫框架介绍

框架概述 其中比较好用的是 Scrapy 和PySpider。pyspider上手更简单,操作更加简便,因为它增加了 WEB 界面,写爬虫迅速,集成了phantomjs,可以用来抓取js渲染的页面。Scrapy自定义程度高,...

魈小沐
2018/07/01
102
0

没有更多内容

加载失败,请刷新页面

加载更多

Python 二十三大实践、编码建议和技巧

点击上方“测试开发技术”,选择设为“设为星标” 优质文章,第一时间送达! 近期推文: 2019年下,测试开发技术精选合集 软件测试工程师必备:如何做好接口测试? 阅读全文大概需要 10分钟。...

狂师
02/12
16
0
大佬评清华Jittor,这是怎样一个深度学习框架?

点击上方“机器学习与生成对抗网络”,关注"星标" 获取有趣、好玩的前沿干货! 如何评价清华大学发布的自研深度学习框架-计图(Jittor)? 2020年3月20日,清华自研的深度学习框架,正式对外开...

AI_bryant8
03/21
15
0
MySQL 中 ACID 底层内部实现原理详解

“ ACID 事务底层内部实现原理” Hello,大家好。我是公众号“ 八点半技术站 ”的小编-Bruce.D。 今天是周二(2020-03-24),还是那句俗语 “一日之计在于晨” ,因此分享给大家的是 「mysql...

八点半的Bruce丶D
03/24
13
0
利用Makisu构建容器镜像

云栖号资讯:【点击查看更多行业资讯】 在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 本系列文章深入研究了容器镜像构建的最新技术。我们已经介绍了Podman和Buildah、I...

osc_8exjk9uk
29分钟前
13
0
业务代码耗时操作优化

前几天我把我们小程序登录接口性能优化了,优化之前登录接口响应时间大概是 300 ms 左右,优化后的响应时间大概在 70 ms 左右。我们小程序登录接口涉及到的业务操作除了基本的登录验证功能外...

python6666
2019/11/17
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部