文档章节

最新win10下安装Scrapy 及其环境搭建

kevin_meng
 kevin_meng
发布于 2015/12/30 14:55
字数 701
阅读 1079
收藏 3

说在前面

我的系统目前是win10  64 scrapy目前只支持到python27

在装scrapy之前 装过visual studio community MS的官网下载

Scrapy官网有相应的简单教程

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

注意 不同后缀名安装方法

a. exe 直接点击安装

b.msi 文件  pip install  file_name

c. egg文件 cmd命令行进入到.egg文件所在目录pip install  file_name

d.whl文件 改后缀名为.zip 解压后 将解压后的最短文件明拷贝到 python27安装位置的Lib文件夹里

------具体安装方法如下 --------

(一) 安装Python 2.7

(二) Python Package: pip and setuptools

现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools

    After installing Python, follow these steps before installing Scrapy:


#安装完Python以后通过以下步骤来安装 Scrapy:

    add the C:python27Scripts and C:python27 folders to the system path by adding those directories to the PATH environment variable from theControl Panel.

#把C:/python27/Scripts 和 C:/python27 添加洗系统环境变量


some binary packages that Scrapy depends on (like Twisted, lxml and pyOpenSSL) require a compiler available to install, and fail if you don’t have Visual Studio installed. You can find Windows installers for those in the following links. Make sure you respect your Python version and Windows architecture.

    #Scrapy按照时需要有lxml 和 pyOpenSSL Twisted,如果你没有安装 Visual Studio 你可以寻找和你的python版本和系统版本一致的Windows architecture

 

-------- 搭建 scrapy环境----------------

(三) lxml.

大多数Linux发行版自带了lxml。如果缺失,请查看   http://lxml.de/installation.html python编写的库 windows下要安装】

(四) OpenSSL.

除了Windows(请查看 平台安装指南)之外的系统都已经提供。

   1. #通过以下步骤来安装OPENSSL

    go to Win32 OpenSSL page #访问Win32 OpenSSL官网

    download OpenSSL for your Windows and architecture (the regular version, not the light one)

    #下载安装OPENSSL在你的系统上

    add the c:openssl-win32bin (or similar) directory to your PATH, the same way you added python27 in the first step“ in the first step

    #用添加Python环境变量一样的方法把OPENSSL所在目录添加到你的系统环境变量里

 

(五) Twisted 安装

Twisted 安装又需要 Zope.Interface ,PyWin32, PyOpenSSL 这三个

http://twistedmatrix.com/trac/wiki/Downloads

  所需要的这三个都可以下载 但是 Twisted 点开却是乱码,没办法下载,我在这个地方找到了 替代链接

 https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi

    ----------------------------


(六) Scrapy 安装


通过以上的步骤你的系统已经具备了安装Scrapy的环境,接下来通过以下命令开始安装Scrapy:

pip install Scrapy

    安装完成以后查看scrapy版本Scrapy version

 然后Scrapy就可以在windows系统上运行了

截图留念

 

 

 

参考网站(为主)

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

http://www.shangxueba.com/jingyan/1645080.html

http://blog.csdn.net/androidzhaoxiaogang/article/details/8479140

http://blog.163.com/like_playboy/blog/static/19439238820157221571826/

 


© 著作权归作者所有

kevin_meng
粉丝 1
博文 5
码字总数 3479
作品 0
杨浦
私信 提问
django-dynamic-scraper(DDS)网页抓取环境安装搭建

之前了解了scrapy的强大和速率的惊人,django的便捷,苦于没有机会真正的接触,前几天大哥让研究一下这个框架,wow,DDS强大的把这两个得力的工具整合到了一起,这样只需简单的安装和配置,就...

RocZhang
2013/11/11
2.7K
0
Windows 8.1 (64bit) 下搭建 Scrapy 0.22 环境

我的Windows 8.1 环境 1.下载安装Python 2.7.6 在Python官方网站中下载Python2.7.6的Windows安装包,根据默认配置安装到C:Python27目录。 安装完成后在系统环境变量PATH中配置Python的环境变...

leezhen
2014/02/16
1K
2
docker在windows下的安装

docker在windows系统下安装有着许多的坑,在此整理如下 docker for windows的安装 Docker 有专门的 Win10 专业版系统的安装包,需要开启Hyper-V。 在win10下强烈推荐使用docker for windows客...

stutterr
2018/07/24
0
0
深入折腾scrapy之一:环境搭建 beta0.3(2013-2-4更新)

发表于:http://www.ballooncat.com/scrapy-setup.html 最近在深入折腾scrapy,先放出环境搭建教程一枚,随后放出更多关于scrapy配置,扩展方面的教程.教程为beta版,部分细节在实际环境中可能会有...

我不叫大脸猫
2013/01/09
990
0
python安装scrapy/Twisted遇见的坑

入门python,一直听闻有一款非常出门的爬虫框架scrapy,非常想尝试一下,于是通过pip install安装,无奈各种报错(的确是各种报错!!),因为scrapy主要依赖的几个库并不支持python3.x。最后...

BekeyChao
2017/11/07
499
0

没有更多内容

加载失败,请刷新页面

加载更多

川普给埃尔多安和内堪尼亚胡的信

任性 https://twitter.com/netanyahu/status/1186647558401253377 https://edition.cnn.com/2019/10/16/politics/trump-erdogan-letter/index.htm...

Iridium
27分钟前
10
0
golang-mysql-原生

db.go package mainimport ("database/sql""time"_ "github.com/go-sql-driver/mysql")var (db *sql.DBdsn = "root:123456@tcp(127.0.0.1:3306)/test?charset=u......

李琼涛
55分钟前
5
0
编程作业20191021092341

1编写一个程序,把用分钟表示的时间转换成用小时和分钟表示的时 间。使用#define或const创建一个表示60的符号常量或const变量。通过while 循环让用户重复输入值,直到用户输入小于或等于0的值...

1李嘉焘1
56分钟前
7
0
Netty整合Protobuffer

现在我们都知道,rpc的三要素:IO模型,线程模型,然后就是数据交互模型,即我们说的序列化和反序列化,现在我们来看一下压缩比率最大的二进制序列化方式——Protobuffer,而且该方式是可以跨...

算法之名
今天
19
0
如何用C++实现栈

栈的定义 栈(stack)又名堆栈,它是一种运算受限的线性表。限定仅在表尾进行插入和删除操作的线性表。这一端被称为栈顶,相对地,把另一端称为栈底。向一个栈插入新元素又称作进栈、入栈或压...

BWH_Steven
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部