Python3安装Scrapy

2018/05/20 15:23
阅读数 9

 Microsoft Visual C++ Build Tools

  最近项目在写爬虫,项目经理给了个Python Scrapy的爬虫项目,要求使用Java实现相关功能。于是乎在本地先后安装了Python3和Scrapy,在安装Scrapy时出现了个小插曲,现在总结如下:

  第一、安装Scrapy

  查看网上安装scrapy,网友基本就是告诉你使用命令: pip install scrapy

然而、不是很熟悉Python的时候,就会发现根本找不到pip命令,这里不是说在PTAH中配置了Python的环境变量就可以了,这是因为pip在python安装目录的Scripts文件夹中。如图:

所以、这里还需要将Scripts加入环境变量PATH中,这样就可以直接使=使用命令行的方式安装Scrapy了。

  当你设置好环境变量后,准备安装Scrapy时,你又会惊喜的发现安装过程报了个错误:

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

  第二、安装Wheel  

  这个错误是在安装Scrapy所需要的中间件Twisted时,所需要的编译工具,如果你老老实实的去下载 Microsoft Visual C++ Build Tools,你就会发现这个工具不是一般的大,而且据网友反映,安装后依然无法安装Scrapy;现在、教你用另一种方式安装:

1.执行命令:pip install wheel

2.手动下载:Twisted文件,网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

  注意:这里你要下载和你本地的Python版本一致的Twisted文件;字符cp后为python的版本,即27表示Python2.7,36表示Python3.6,目前最新的稳定版是Python3.6

  

3.安装Twisted:pip install [你下载的Twisted文件在本地的路径],如:pip install E://Twisted...cp36....amd64.whl

  这里可能报:Twisted-18.4.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.

  建议:请检查安装Python版本32位还是64位,以及有可能的文件名称是否支持。

4.安装Scrapy:pip install scrapy

  以上各步骤都执行成功后,即可创建Scrapy爬虫项目了。小伙伴、有木有很期待。

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部