文档章节

前嗅ForeSpider脚本教程-链接抽取:链接在POST请求里写脚本

forespider
 forespider
发布于 04/11 14:38
字数 451
阅读 8
收藏 0

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接抽取中,链接在POST请求里写脚本的实战教程。具体内容如下:

当链接地址在源码中不存在,存在于post请求中时,需要使用浏览器的开发者工具来查找链接数据。

1.链接需要循环

场景:一组链接存在于JSON的某个数组中。

示例:采集豆瓣电影,列表页的电影链接。

查看源文件可知,源文件中只有一部分数据,而下拉列表出现的其他电影信息不存在源码中,此时我们需要在请求的响应正文中查找数据。在该页面右键点击“审查元素”,下拉,点击“加载更多”,出现一个请求包,查看Response,发现链接地址存在于,返回正文中。

将Response中的信息粘贴到json查看器中,以notepad++插件“JSON Viewer”为例,定位数据存在路径。

脚本实例:

var urs = “https://movie.douban.com/j/search_subjects?type=movie&t ag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=60”;

var groc = EXTRACT.OpenDoc(CHANN,urs,0);

if(groc){

var jsonStr = groc.GetDom().GetSource().ToStr();

jScript js;

var json = js.RunJson(jsonStr);

var arr = json.subjects;

for(int i=0;i<arr.size;i++)

{
  url u;

  u.title=””;

  u.urlname=arr[i].url;

  u.entryid=CHANN.id;

  u.tmplid=2;

  RESULT.AddLink(u);

 }

}

2.不循环

场景:少数链接是JSON的某个键值。

示例:暂无。

© 著作权归作者所有

forespider
粉丝 5
博文 104
码字总数 108783
作品 0
天津
私信 提问
前嗅ForeSpider脚本教程-链接抽取:自定义链接写脚本

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接抽取中,自定义链接写脚本的实战教程。具体内容如下: 场景:当采集的链接不存在于任何位置,或者想要采集自定义的链接。示例:天...

forespider
04/12
8
0
前嗅ForeSpider脚本教程:扩展对象(二)

今天,小编主要为大家介绍一下:前嗅ForeSpider脚本中的扩展对象:链接抽取类tmplLink,链接过滤类tmplFilter,数据抽取类tmplData,模板字段类tmplVal。具体内容如下: 一.链接抽取类tmplL...

forespider
03/22
6
0
前嗅ForeSpider脚本教程:脚本概述

本教程主要对前嗅ForeSpider脚本做了详细的介绍。主要内容包括:脚本结构,脚本与可视化配置的关系,各节点脚本之间的关系,以及脚本编辑区。具体内容如下: 一.ForeSpider脚本结构 ForeSpid...

forespider
03/11
6
0
前嗅ForeSpider脚本教程-链接过滤脚本

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接过滤脚本,应用场景,地址/标题过滤。具体内容如下: 一.应用场景 当可视化抽取到的链接包含不想要的链接地址时,需要进行过滤。...

forespider
04/15
5
0
前嗅ForeSpider脚本教程-链接抽取:链接在源码的js变量里写脚本

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接抽取中,链接在源码的js变量里写脚本的实战教程。具体内容如下: 链接地址可在源码中查找到。在目标网页右键,选择“查看源代码”...

forespider
04/10
2
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
今天
5
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
今天
8
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
今天
4
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
今天
6
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
6
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部