python 3.5 + scrapy1.2 windows下的安装
python 3.5 + scrapy1.2 windows下的安装
wangyue_1 发表于10个月前
python 3.5 + scrapy1.2 windows下的安装
  • 发表于 10个月前
  • 阅读 201
  • 收藏 0
  • 点赞 0
  • 评论 0

330元/年抢阿里云香港云服务器,节省80%出海成本 >>>   

安装Python

安装python3.5

    3.5.2版本:https://www.python.org/ftp/python/3.5.2/python-3.5.2rc1-amd64.exe

    其他版本:https://www.python.org/downloads/windows/

添加Python环境变量。

两步:

  1. 新建,变量名PYTHON_HOME,变量值为安装Python的根目录,我的是C:\Python
  2. 找到变量Path,在后面添加这一句话                 ;%PYTHON_HOME%;%PYTHON_HOME%\Scripts

        注意:%PYTHON_HOME%\Scripts是为了识别Python目录下的Scrpts目录下的pip3等工具,如果不设置,似乎cmd命令窗口下识别不了pip3命令。接下来安装的scrapy以及 twitsed,也会安装在%PYTHON_HOME%\Scripts下。

验证,通过cmd命令窗口,输入python,如果直接进入Python界面,则安装成功。

 

安装Scrapy1.2

scrapy官网:https://scrapy.org/

scrapy文档:http://scrapy.readthedocs.io/en/latest/
 

第一次安装出错,error: Unable to find vcvarsall.bat

  1. cmd 进入dos界面,输入以下命令:
pip3 install Scrapy

         安装到最后,提示出错:error: Unable to find vcvarsall.bat。

         在网上搜,似乎是windows下不能编译scrapy依赖库。查阅官方文档:
Note: Python 3 is not supported on Windows. This is because Scrapy core requirement Twisted does not support   Python 3 on Windows。也就是Scrapy依赖库Twisted不支持windows下的Python3,应该就是twited库windows下不能通过编译。

 

解决之道

        感谢万能的网络,(https://www.zhihu.com/question/26857761/answer/69754633)通过wheel安装编译好的源文件,感

  1. 安装wheel,命令行运行:
    pip3 install wheel
  2. 下载scrapy依赖库

    scrapy的依赖库包括:

    Scrapy is written in pure Python and depends on a few key Python packages (among others):

  • lxml, an efficient XML and HTML parser
  • parsel, an HTML/XML data extraction library written on top of lxml,
  • w3lib, a multi-purpose helper for dealing with URLs and web page encodings
  • twisted, an asynchronous networking framework
  • cryptography and pyOpenSSL, to deal with various network-level security needs

         通过尝试,是需要安装twisted和lxml库之后便可以了,下载地址:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted , 通过Ctr+F搜索,twisted以及lxml

我下载的版本:

  • Twisted-16.5.0-cp35-cp35m-win_amd64.whl
  • lxml-3.6.4-cp35-cp35m-win_amd64.whl其中,cp后面是Python的版本号,35表示python 3.5

      3.安装安装下载的.whl文件,输入以下命令:

pip3 install 下载的.whl文件的完整路径

 

第二次重新尝试安装

输入安装命令:      

​​​​​​​pip3 install Scrapy

没有提示出错,scrapy就安装成功了。

 

验证Scrapy

安装好后,cmd命令窗口输入以下命令,执行scrapy基准测试,

scrapy bench

如果出现以下结果:

import win32apiImportError: No module named 'win32api',需要安装win32api的模块,通过以下命令安装:

pip3 install pypiwin32

再次输入 scrapy bench 执行scrapy基准测试,出现结果如下,说明安装好了

C:\Users\wangyue27>scrapy bench

2016-11-08 16:19:58 [scrapy] INFO: Scrapy 1.2.1 started (bot: scrapybot)

2016-11-08 16:19:58 [scrapy] INFO: Overridden settings: {'CLOSESPIDER_TIMEOUT':

10, 'LOGSTATS_INTERVAL': 1, 'LOG_LEVEL': 'INFO'}

2016-11-08 16:20:00 [scrapy] INFO: Enabled extensions:

['scrapy.extensions.telnet.TelnetConsole',
。。。。。。。。。。。。。。。。。。。。。。。。。

'scheduler/dequeued': 461,

'scheduler/dequeued/memory': 461,

'scheduler/enqueued': 9220,

'scheduler/enqueued/memory': 9220,

'start_time': datetime.datetime(2016, 11, 8, 8, 20, 1, 6974)}

2016-11-08 16:20:11 [scrapy] INFO: Spider closed (closespider_timeout)

 

共有 人打赏支持
粉丝 4
博文 14
码字总数 4609
×
wangyue_1
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: