文档章节

【Scrapy学习纪要】常见问题解决思路汇总

justgeek
 justgeek
发布于 2017/01/20 23:05
字数 308
阅读 13
收藏 0

前提:windows 7系统 64bit环境,正确安装Scrapy,并且配置到系统环境变量。

1.通过scrapy调试某个网页

       scrapy shell  [web地址]

2.启动指定项目

      进入创建项目的文件夹下面,与scrapy.cfg在同一个目录,然后执行scrapy crawl [指定qutes]

3.学习selenium+scrapy时,如果需要启动某个浏览器,需要下载对应浏览器的驱动,我使用的是chrome,所以下载的是chromewebdriver,下载地址是:

     https://sites.google.com/a/chromium.org/chromedriver/downloads

4.好像selenium无法识别系统级的桌面,例如另存为,所以我们可以下载autoit,再续

5.遭遇scrapy突然启动不了,出现各种失败信息,基本上都是python27 32位或者64位这种版本错误,可解决的办法是根据报的错误进行卸载,命令:pip uninstall 【安装包名】,然后利用pip install scrapy自动安装,这时还需要注意需要将缓存安装包卸载掉以免使用了无效的包。

6.遭遇以下错误,是因为未安装与python版本匹配pywin32,如本机是python2.7,32位,则安装:https://sourceforge.net/projects/pywin32/?source=typ_redirect

 

© 著作权归作者所有

justgeek
粉丝 0
博文 4
码字总数 530
作品 0
浦东
私信 提问
Scrapy常见问题(FAQ)

常见问题(FAQ) Scrapy相BeautifulSoup或lxml比较,如何呢? BeautifulSoup 及 lxml 是HTML和XML的分析库。Scrapy则是 编写爬虫,爬取网页并获取数据的应用框架(application framework)。 Scra...

Airship
2015/11/12
459
0
学习编程的你,遇到了Bug该怎么办?

学习 这里我先回答标题的问题,答案就是:百度! 直接把错误提示复制在搜索栏,用百度搜索。如果没有现成的错误提示,只有模糊的需求,那就整理一下需求,组织一下语言,然后用百度搜索自己的...

爱吃西瓜的番茄酱
2017/11/12
0
0
Scrapy+eChart自动爬取生成网络安全词云

因为工作的原因,近期笔者开始持续关注一些安全咨询网站,一来是多了解业界安全咨询提升自身安全知识,二来也是需要从各类安全网站上收集漏洞情报。 作为安全情报领域的新手,面对大量的安全...

半夜菊花茶
2017/12/10
0
0
Python scrapy 常见问题及解决 【遇到的坑】

1. 爬虫出现Forbidden by robots.txt 解决方法:setting.py ROBOTSTXT_OBEY = True 改成False 原因:scrapy抓包时的输出就能发现,在请求我们设定的url之前,它会先向服务器根目录请求一个t...

littlebob
2018/08/12
0
0
如何用 Python 爬取网页制作电子书

有人爬取数据分析黄金周旅游景点,有人爬取数据分析相亲,有人大数据分析双十一,连小学生写论文都用上了大数据。 我们每个人每天都在往网上通过微信、微博、淘宝等上传我们的个人信息,现在...

孙亖
2017/12/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Nervos CKB 脚本编程简介[1]:验证模型

CKB 脚本编程简介[1]: 验证模型 本文作者:Xuejie 原文链接:Introduction to CKB Script Programming 1: Validation Model 本文译者:Jason,Orange 译文链接:https://talk.nervos.org/t/c...

NervosCommunity
26分钟前
4
0
消息中间件——RabbitMQ的高级特性

前言 前面我们介绍了RabbitMQ的安装、各大消息中间件的对比、AMQP核心概念、管控台的使用、快速入门RabbitMQ。本章将介绍RabbitMQ的高级特性。分两篇(上/下)进行介绍。 消息如何保障100%的...

Java架构师ya七
58分钟前
9
0
如何编写高质量的 JS 函数(1) -- 敲山震虎篇

本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/7lCK9cHmunvYlbm7Xi7JxQ 作者:杨昆 一千个读者,有一千个哈姆雷特。 此系列文章将会从函数的执行机制、鲁棒性、函...

vivo互联网技术
今天
7
0
学会这5个Excel技巧,让你拒绝加班

在网上,随处都可以看到Excel技巧,估计已看腻了吧?但下面5个Excel技巧会让你相见恨晚。关键的是它们个个还很实用 图一 技巧1:快速删除边框 有时当我们处理数据需要去掉边框,按Ctrl+Shif...

干货趣分享
今天
11
0
JS基础-该如何理解原型、原型链?

JS的原型、原型链一直是比较难理解的内容,不少初学者甚至有一定经验的老鸟都不一定能完全说清楚,更多的"很可能"是一知半解,而这部分内容又是JS的核心内容,想要技术进阶的话肯定不能对这个...

OBKoro1
今天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部