文档章节

python scrapy安装

DataPrince
 DataPrince
发布于 2017/04/03 09:11
字数 443
阅读 194
收藏 0

安装scrapy,首先需要安装依赖包:

1)下面4个依赖包可以直接通过在cmd命令行下面通过pip install 来安装。

     parsel, w3lib, cryptography, pyOpenSSL

例如:

pip install parsel

如果你依次安装这四个包,如果出现如下图:

说明你已经在不知道什么情况下误打误撞安装完了,所以忽略就好,等到把四个包安装好,继续第二步。

2)还需要两个包,lxml,twisted,这两个不能直接用pip安装,必须自己下载,如下链接可以下载(要根据自己的系统位数奥):http://www.lfd.uci.edu/~gohlke/pythonlibs/

两个都是.whl文件,下载完后,利用:(pip install 文件路径.文件)进行安装,例:

我下载到了D:\python\FishC文件夹下面

就需要这样安装:

pip install D:\python\FishC\lxml-3.7.3-cp36-cp36m-win_amd64.whl

至此,所有依赖包安装完成,下面进行终极目标:安装scrapy,很简单,如下:

pip install scrapy

大功告成,输入scrapy,出现如下,证明真的成功安装:

然后:

创建一个scrapy项目试试:

在命令行输入:scrapy sartproject 项目名字,例:

scrapy创建成功,说明一点,你在哪个目录下创建的,项目文件就会在哪里,所以你可以先切换目录,再创建,这里我是在c:\User\Administrator下面创建的。

希望上面的安装步骤对你有帮助,另外提一点,我查找解决办法的时候,发现有人说还需要安装pywin32,我安装的时候没有遇到这个问题,如果你遇到了,只需要额外再安装一下pywin32即可,给出链接:

http://sourceforge.net/projects/pywin32/files/

根据自己的版本下载,直接安装就可以。

© 著作权归作者所有

上一篇: python3.5 安装pygame
下一篇: CSS
DataPrince
粉丝 7
博文 40
码字总数 19334
作品 0
浦东
高级程序员
私信 提问
RHEL 5下安装Scrapy-0.14.0.2841爬虫框架

Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很多企业用于生产环境。对于它的更多介绍,可以查阅相关资料(官方网站:www.scrapy.org)。 我们根据官网提...

durban
2012/04/30
151
0
高级爬虫(一):Scrapy爬虫框架的安装

Hi 小伙伴们差不多有半个月没有更新干货了,一直有点忙,而且这中间还有曲折过程,也就没有更新文章. 但今天无论如何也要更新一篇文章,接下来是爬虫高级篇重点讲解的地方! 最近会连载Scrap...

Python绿色通道
2018/04/22
0
0
Python+Scrapy安装

抓取网站的代码实现很多,如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS:一定要按照Python的版本下载,要不然安装的时候会...

嚣张乾坤
2015/01/07
24.3K
1
Windows 8.1 (64bit) 下搭建 Scrapy 0.22 环境

我的Windows 8.1 环境 1.下载安装Python 2.7.6 在Python官方网站中下载Python2.7.6的Windows安装包,根据默认配置安装到C:Python27目录。 安装完成后在系统环境变量PATH中配置Python的环境变...

leezhen
2014/02/16
1K
2
Python | 初识爬虫框架Scrapy

一、前言 今天给大家分享的是,Python里的爬虫框架Scrapy学习,包含python虚拟环境的搭建、虚拟环境的使用、Scrapy安装方法详解、Scrapy基本使用、Scrapy项目目录及内容基本介绍,let's go!...

技术小能手
2018/09/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
6
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
昨天
6
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
7
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部