【Scrapy学习纪要】常见问题解决思路汇总

原创
2017/01/20 23:05
阅读数 46

前提:windows 7系统 64bit环境,正确安装Scrapy,并且配置到系统环境变量。

1.通过scrapy调试某个网页

       scrapy shell  [web地址]

2.启动指定项目

      进入创建项目的文件夹下面,与scrapy.cfg在同一个目录,然后执行scrapy crawl [指定qutes]

3.学习selenium+scrapy时,如果需要启动某个浏览器,需要下载对应浏览器的驱动,我使用的是chrome,所以下载的是chromewebdriver,下载地址是:

     https://sites.google.com/a/chromium.org/chromedriver/downloads

4.好像selenium无法识别系统级的桌面,例如另存为,所以我们可以下载autoit,再续

5.遭遇scrapy突然启动不了,出现各种失败信息,基本上都是python27 32位或者64位这种版本错误,可解决的办法是根据报的错误进行卸载,命令:pip uninstall 【安装包名】,然后利用pip install scrapy自动安装,这时还需要注意需要将缓存安装包卸载掉以免使用了无效的包。

6.遭遇以下错误,是因为未安装与python版本匹配pywin32,如本机是python2.7,32位,则安装:https://sourceforge.net/projects/pywin32/?source=typ_redirect

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部