通过这个API接口，你可以直接获得一个调测好的提取器脚本程序，是标准的XSLT程序，您只需针对目标网页的DOM运行它，就能获得XML格式的结果，所有字段一次性获得。

在web集成和网站前端领域，json越来越普遍，在Scrapy架构中，Scrapy dict数据结构本质上就是json，所以，由XML格式转换成JSON格式很有必要。

《Scrapy的架构初探》一文讲解了Scrapy的架构，本文就实际来安装运行一下Scrapy爬虫。本文以官网的tutorial作为例子，完整的代码可以在github上下载。

Python即时网络爬虫启动的目标是一起把互联网变成大数据库。单纯的开放源代码并不是开源的全部，开源的核心是“开放的思想”，聚合最好的想法、技术、人员，所以将会参照众多领先产品，比如，...

在上一篇《python爬虫实战：爬取Drupal论坛帖子列表》，爬取了一个用Drupal做的论坛，是静态页面，抓取比较容易，即使直接解析html源文件都可以抓取到需要的内容。相反，JavaScript实现的动态...

根据Google Python编程风格指南整理出来的Python编程规范。

在写python网络爬虫程序的时候，经常需要修改UserAgent，有很多原因。修改agent值这个操作本身比较简单，UserAgent值是一串字符串，替换上即可，主要是用对UserAgent值。...

在python 即时网络爬虫项目启动说明中我们讨论一个数字：程序员浪费在调测内容提取规则上的时间，从而我们发起了这个项目，把程序员从繁琐的调测规则中解放出来，投入到更高端的数据处理工作...

晚上翻看《Python网络数据采集》这本书，看到读取PDF内容的代码，想起来前几天集搜客刚刚发布了一个抓取网页pdf内容的抓取规则，这个规则能够把pdf内容当成html来做网页抓取。...

在《Python即时网络爬虫项目说明》一文我们说过要做一个通用的网络爬虫，而且能节省程序员大半的时间，而焦点问题就是提取器使用的抓取规则需要快速生成。

在上一篇python使用xslt提取网页数据中，要提取的内容是直接从网页的source code里拿到的。但是对于一些Ajax或动态html, 很多时候要提取的内容是在source code找不到的，这种情况就要想办法把...

在Python网络爬虫内容提取器一文我们详细讲解了核心部件：可插拔的内容提取器类gsExtractor。本文记录了确定gsExtractor的技术路线过程中所做的编程实验。这是第一部分，实验了用xslt方式一次...

作为酷爱编程的老程序员，实在按耐不下这个冲动，Python真的是太火了，不断撩拨我的心。在这段时间，集搜客团队将会启动python即时网络爬虫项目，在执行过程中，我们会开放所有资料和成果、已...