加载中
GoldData仿真采集脚本框架

GoldData仿真采集脚本框架,支持浏览器和移动APP采集,是专为采集而设计的。是集驱动访问、流程控制、选择器、UI交互、代理与MITM、数据集、关键词存储为一体并极力简化代码量的框架。且我们...

Golddata如何采集需要登录/会话的数据?

概要 本文将介绍使用GoldData半自动登录功能,来采集需要登录网站的数据。GoldData半自动登录功能,就是指通过脚本来执行登录,如果需要验证码或者其它内容需要人工输入时,可以通过收发邮件...

2019/04/05 18:50
96
如何一步到位将级联数据融合到自关联表?

概述 在本篇中,将接续上一篇使用GoldData已抓取的省市县这样的级联数据融合到数据库自关联应用表中,也就是将area级联数据集融合到自关联表area中,我们先看级联数据集字段和数据,以及are...

2019/03/16 15:52
59
如何采集级联数据(比如最新省市县)呢?

概述 通常抓取级联数数据情况不多,但要是真需要时,确多了一些麻烦,比如抓取商品分类级别信息等。本内容将讲述如何采集无限级联联数据,并以GoldData来抓取2019年最新的省市县三级为示例。...

2019/03/15 12:20
424
GoldData将采集数据融合到两张关联关系表

概述 在上一期中,我们抓取了新闻数据,现在我们要通过GoldData融合到两张数据库表news_site和news表当中去。如下图所示: 我们很容易看到这两张表存在关联,那是怎样将数据写入关联呢,我们...

2019/03/14 09:45
72
GoldData学习实例-采集官网新闻数据

概述 在本节中,我们将讲述抓取政府官网地方新闻。并将抓取的新闻数据融入到以下两张数据表news_site和news中。 news_site(新闻来源) 字段 类型 说明 id bigint 主键,自动增长 name varch...

2019/03/13 22:43
151
正则表达式lookahead或lookbehind了解了,写代码就不用捉急了

正则表达式,用于处理文本的工具,由于其简洁、高效、强大所以被包括进了各种计算机语言的基础库当中。通常情况下,我们了解最基本的模式,就已经够用了,比如代表空白用\s、非空白\S等。如果...

2019/03/13 18:38
84

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部