文档章节

最新win10下安装Scrapy 及其环境搭建

kevin_meng
 kevin_meng
发布于 2015/12/30 14:55
字数 701
阅读 1028
收藏 3

说在前面

我的系统目前是win10  64 scrapy目前只支持到python27

在装scrapy之前 装过visual studio community MS的官网下载

Scrapy官网有相应的简单教程

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

注意 不同后缀名安装方法

a. exe 直接点击安装

b.msi 文件  pip install  file_name

c. egg文件 cmd命令行进入到.egg文件所在目录pip install  file_name

d.whl文件 改后缀名为.zip 解压后 将解压后的最短文件明拷贝到 python27安装位置的Lib文件夹里

------具体安装方法如下 --------

(一) 安装Python 2.7

(二) Python Package: pip and setuptools

现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools

    After installing Python, follow these steps before installing Scrapy:


#安装完Python以后通过以下步骤来安装 Scrapy:

    add the C:python27Scripts and C:python27 folders to the system path by adding those directories to the PATH environment variable from theControl Panel.

#把C:/python27/Scripts 和 C:/python27 添加洗系统环境变量


some binary packages that Scrapy depends on (like Twisted, lxml and pyOpenSSL) require a compiler available to install, and fail if you don’t have Visual Studio installed. You can find Windows installers for those in the following links. Make sure you respect your Python version and Windows architecture.

    #Scrapy按照时需要有lxml 和 pyOpenSSL Twisted,如果你没有安装 Visual Studio 你可以寻找和你的python版本和系统版本一致的Windows architecture

 

-------- 搭建 scrapy环境----------------

(三) lxml.

大多数Linux发行版自带了lxml。如果缺失,请查看   http://lxml.de/installation.html python编写的库 windows下要安装】

(四) OpenSSL.

除了Windows(请查看 平台安装指南)之外的系统都已经提供。

   1. #通过以下步骤来安装OPENSSL

    go to Win32 OpenSSL page #访问Win32 OpenSSL官网

    download OpenSSL for your Windows and architecture (the regular version, not the light one)

    #下载安装OPENSSL在你的系统上

    add the c:openssl-win32bin (or similar) directory to your PATH, the same way you added python27 in the first step“ in the first step

    #用添加Python环境变量一样的方法把OPENSSL所在目录添加到你的系统环境变量里

 

(五) Twisted 安装

Twisted 安装又需要 Zope.Interface ,PyWin32, PyOpenSSL 这三个

http://twistedmatrix.com/trac/wiki/Downloads

  所需要的这三个都可以下载 但是 Twisted 点开却是乱码,没办法下载,我在这个地方找到了 替代链接

 https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi

    ----------------------------


(六) Scrapy 安装


通过以上的步骤你的系统已经具备了安装Scrapy的环境,接下来通过以下命令开始安装Scrapy:

pip install Scrapy

    安装完成以后查看scrapy版本Scrapy version

 然后Scrapy就可以在windows系统上运行了

截图留念

 

 

 

参考网站(为主)

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

http://www.shangxueba.com/jingyan/1645080.html

http://blog.csdn.net/androidzhaoxiaogang/article/details/8479140

http://blog.163.com/like_playboy/blog/static/19439238820157221571826/

 


© 著作权归作者所有

共有 人打赏支持
kevin_meng
粉丝 1
博文 5
码字总数 3479
作品 0
杨浦
django-dynamic-scraper(DDS)网页抓取环境安装搭建

之前了解了scrapy的强大和速率的惊人,django的便捷,苦于没有机会真正的接触,前几天大哥让研究一下这个框架,wow,DDS强大的把这两个得力的工具整合到了一起,这样只需简单的安装和配置,就...

RocZhang
2013/11/11
0
0
Windows 8.1 (64bit) 下搭建 Scrapy 0.22 环境

我的Windows 8.1 环境 1.下载安装Python 2.7.6 在Python官方网站中下载Python2.7.6的Windows安装包,根据默认配置安装到C:Python27目录。 安装完成后在系统环境变量PATH中配置Python的环境变...

leezhen
2014/02/16
0
2
docker在windows下的安装

docker在windows系统下安装有着许多的坑,在此整理如下 docker for windows的安装 Docker 有专门的 Win10 专业版系统的安装包,需要开启Hyper-V。 在win10下强烈推荐使用docker for windows客...

stutterr
07/24
0
0
python安装scrapy/Twisted遇见的坑

入门python,一直听闻有一款非常出门的爬虫框架scrapy,非常想尝试一下,于是通过pip install安装,无奈各种报错(的确是各种报错!!),因为scrapy主要依赖的几个库并不支持python3.x。最后...

BekeyChao
2017/11/07
0
0
深入折腾scrapy之一:环境搭建 beta0.3(2013-2-4更新)

发表于:http://www.ballooncat.com/scrapy-setup.html 最近在深入折腾scrapy,先放出环境搭建教程一枚,随后放出更多关于scrapy配置,扩展方面的教程.教程为beta版,部分细节在实际环境中可能会有...

我不叫大脸猫
2013/01/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

arcgis jsapi接口入门系列(2):图层基础操作

//图层相关demo layerFun: function () { //获取地图的所有图层(不包括的图层类型:底图图层(basemaps)) let layers = this.map.layers; ...

canneljls
8分钟前
1
0
MySQL忘记root密码--不重启mysqd重置root密码

先提个问题:如何不重启mysqld,且没有权限修改用户账号和权限的情况下,如何重新设置root密码?不知道没关系,在此之前我也是不知道如何操作的,先看看下面的几种重置root密码的方法。 1、s...

IT--小哥
10分钟前
1
0
php7不再支持HTTP_RAW_POST_DATA,微信支付$GLOBALS[‘HTTP_RAW_POST_DATA’]获取不到数据,

升级到php7后, 发现旧的web系统有些问题, 查看后才发现原来是php7不再支持HTTP_RAW_POST_DATA 原来系统一些地方, 使用$GLOBALS[‘HTTP_RAW_POST_DATA’]来获取数据, 在php7里无法获取了 ...

15834278076
11分钟前
1
0
Android--拨打电话功能

Intent callIntent = new Intent(); callIntent.setAction(Intent.ACTION_DIAL); callIntent.setData(Uri.parse("tel:" + "4008823823")......

lanyu96
18分钟前
1
0
iOS多种刷新样式、音乐播放器、仿抖音视频、旅游App等源码

iOS精选源码 企业级开源项目,模仿艺龙旅行App 3D立体相册,可以旋转的立方体 横竖屏切换工具,使用陀螺仪检测手机设备方向,锁屏状... Swift版Refresh(可以自定义多种样式)架构方面有所优化...

Android爱开源
22分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部