文档章节

最新win10下安装Scrapy 及其环境搭建

kevin_meng
 kevin_meng
发布于 2015/12/30 14:55
字数 701
阅读 993
收藏 3

说在前面

我的系统目前是win10  64 scrapy目前只支持到python27

在装scrapy之前 装过visual studio community MS的官网下载

Scrapy官网有相应的简单教程

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

注意 不同后缀名安装方法

a. exe 直接点击安装

b.msi 文件  pip install  file_name

c. egg文件 cmd命令行进入到.egg文件所在目录pip install  file_name

d.whl文件 改后缀名为.zip 解压后 将解压后的最短文件明拷贝到 python27安装位置的Lib文件夹里

------具体安装方法如下 --------

(一) 安装Python 2.7

(二) Python Package: pip and setuptools

现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools

    After installing Python, follow these steps before installing Scrapy:


#安装完Python以后通过以下步骤来安装 Scrapy:

    add the C:python27Scripts and C:python27 folders to the system path by adding those directories to the PATH environment variable from theControl Panel.

#把C:/python27/Scripts 和 C:/python27 添加洗系统环境变量


some binary packages that Scrapy depends on (like Twisted, lxml and pyOpenSSL) require a compiler available to install, and fail if you don’t have Visual Studio installed. You can find Windows installers for those in the following links. Make sure you respect your Python version and Windows architecture.

    #Scrapy按照时需要有lxml 和 pyOpenSSL Twisted,如果你没有安装 Visual Studio 你可以寻找和你的python版本和系统版本一致的Windows architecture

 

-------- 搭建 scrapy环境----------------

(三) lxml.

大多数Linux发行版自带了lxml。如果缺失,请查看   http://lxml.de/installation.html python编写的库 windows下要安装】

(四) OpenSSL.

除了Windows(请查看 平台安装指南)之外的系统都已经提供。

   1. #通过以下步骤来安装OPENSSL

    go to Win32 OpenSSL page #访问Win32 OpenSSL官网

    download OpenSSL for your Windows and architecture (the regular version, not the light one)

    #下载安装OPENSSL在你的系统上

    add the c:openssl-win32bin (or similar) directory to your PATH, the same way you added python27 in the first step“ in the first step

    #用添加Python环境变量一样的方法把OPENSSL所在目录添加到你的系统环境变量里

 

(五) Twisted 安装

Twisted 安装又需要 Zope.Interface ,PyWin32, PyOpenSSL 这三个

http://twistedmatrix.com/trac/wiki/Downloads

  所需要的这三个都可以下载 但是 Twisted 点开却是乱码,没办法下载,我在这个地方找到了 替代链接

 https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi

    ----------------------------


(六) Scrapy 安装


通过以上的步骤你的系统已经具备了安装Scrapy的环境,接下来通过以下命令开始安装Scrapy:

pip install Scrapy

    安装完成以后查看scrapy版本Scrapy version

 然后Scrapy就可以在windows系统上运行了

截图留念

 

 

 

参考网站(为主)

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

http://www.shangxueba.com/jingyan/1645080.html

http://blog.csdn.net/androidzhaoxiaogang/article/details/8479140

http://blog.163.com/like_playboy/blog/static/19439238820157221571826/

 


© 著作权归作者所有

共有 人打赏支持
kevin_meng
粉丝 1
博文 5
码字总数 3479
作品 0
杨浦
django-dynamic-scraper(DDS)网页抓取环境安装搭建

之前了解了scrapy的强大和速率的惊人,django的便捷,苦于没有机会真正的接触,前几天大哥让研究一下这个框架,wow,DDS强大的把这两个得力的工具整合到了一起,这样只需简单的安装和配置,就...

RocZhang
2013/11/11
0
0
Windows 8.1 (64bit) 下搭建 Scrapy 0.22 环境

我的Windows 8.1 环境 1.下载安装Python 2.7.6 在Python官方网站中下载Python2.7.6的Windows安装包,根据默认配置安装到C:Python27目录。 安装完成后在系统环境变量PATH中配置Python的环境变...

leezhen
2014/02/16
0
2
docker在windows下的安装

docker在windows系统下安装有着许多的坑,在此整理如下 docker for windows的安装 Docker 有专门的 Win10 专业版系统的安装包,需要开启Hyper-V。 在win10下强烈推荐使用docker for windows客...

stutterr
07/24
0
0
python安装scrapy/Twisted遇见的坑

入门python,一直听闻有一款非常出门的爬虫框架scrapy,非常想尝试一下,于是通过pip install安装,无奈各种报错(的确是各种报错!!),因为scrapy主要依赖的几个库并不支持python3.x。最后...

BekeyChao
2017/11/07
0
0
深入折腾scrapy之一:环境搭建 beta0.3(2013-2-4更新)

发表于:http://www.ballooncat.com/scrapy-setup.html 最近在深入折腾scrapy,先放出环境搭建教程一枚,随后放出更多关于scrapy配置,扩展方面的教程.教程为beta版,部分细节在实际环境中可能会有...

我不叫大脸猫
2013/01/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

阿里云API网关使用教程

API 网关(API Gateway)提供高性能、高可用的 API 托管服务,帮助用户对外开放其部署在 ECS、容器服务等阿里云产品上的应用,提供完整的 API 发布、管理、维护生命周期管理。用户只需进行简...

mcy0425
23分钟前
3
0
解决远程登陆误按ctrl+s锁屏假死恢复

使用putty时,偶尔发生屏幕假死,不能输入等情况。 后来发现,只要数据ctrl+s,就会假死;输入ctrl+q就可以恢复过来。 很多刚从windows转移到linux上来工作的朋友,在用vi/vim编辑文件时,常常...

HJCui
26分钟前
0
0
@Transactional

事务管理是应用系统开发中必不可少的一部分。Spring 为事务管理提供了丰富的功能支持。Spring 事务管理分为编程式和声明式的两种方式。编程式事务指的是通过编码方式实现事务;声明式事务基于...

asdf08442a
30分钟前
2
0
widows下强制解除8080端口占用问题

使用win+R打开命令窗口 输入以下命令查看哪个任务占用了8080端口 netstat -ano |findstr "8080" 然后通过任务id强制关闭占用该端口的进程 tskill 10044 // 自己的试情况而定,这个ID是LISTE...

_Artisan
39分钟前
2
0
productFlavors简单实用

最近项目中,不同环境需要配置的参数越来越多,为了减少修改代码次数。研究了一下productFlavors的使用方式,总结如下 1. as3.0以上版本使用productFlavors时需要指定一个flavorDimensions,...

火云
42分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部