文档章节

最新win10下安装Scrapy 及其环境搭建

kevin_meng
 kevin_meng
发布于 2015/12/30 14:55
字数 701
阅读 1057
收藏 3

说在前面

我的系统目前是win10  64 scrapy目前只支持到python27

在装scrapy之前 装过visual studio community MS的官网下载

Scrapy官网有相应的简单教程

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

注意 不同后缀名安装方法

a. exe 直接点击安装

b.msi 文件  pip install  file_name

c. egg文件 cmd命令行进入到.egg文件所在目录pip install  file_name

d.whl文件 改后缀名为.zip 解压后 将解压后的最短文件明拷贝到 python27安装位置的Lib文件夹里

------具体安装方法如下 --------

(一) 安装Python 2.7

(二) Python Package: pip and setuptools

现在 pip 依赖 setuptools ,如果未安装,则会自动安装 setuptools

    After installing Python, follow these steps before installing Scrapy:


#安装完Python以后通过以下步骤来安装 Scrapy:

    add the C:python27Scripts and C:python27 folders to the system path by adding those directories to the PATH environment variable from theControl Panel.

#把C:/python27/Scripts 和 C:/python27 添加洗系统环境变量


some binary packages that Scrapy depends on (like Twisted, lxml and pyOpenSSL) require a compiler available to install, and fail if you don’t have Visual Studio installed. You can find Windows installers for those in the following links. Make sure you respect your Python version and Windows architecture.

    #Scrapy按照时需要有lxml 和 pyOpenSSL Twisted,如果你没有安装 Visual Studio 你可以寻找和你的python版本和系统版本一致的Windows architecture

 

-------- 搭建 scrapy环境----------------

(三) lxml.

大多数Linux发行版自带了lxml。如果缺失,请查看   http://lxml.de/installation.html python编写的库 windows下要安装】

(四) OpenSSL.

除了Windows(请查看 平台安装指南)之外的系统都已经提供。

   1. #通过以下步骤来安装OPENSSL

    go to Win32 OpenSSL page #访问Win32 OpenSSL官网

    download OpenSSL for your Windows and architecture (the regular version, not the light one)

    #下载安装OPENSSL在你的系统上

    add the c:openssl-win32bin (or similar) directory to your PATH, the same way you added python27 in the first step“ in the first step

    #用添加Python环境变量一样的方法把OPENSSL所在目录添加到你的系统环境变量里

 

(五) Twisted 安装

Twisted 安装又需要 Zope.Interface ,PyWin32, PyOpenSSL 这三个

http://twistedmatrix.com/trac/wiki/Downloads

  所需要的这三个都可以下载 但是 Twisted 点开却是乱码,没办法下载,我在这个地方找到了 替代链接

 https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi

    ----------------------------


(六) Scrapy 安装


通过以上的步骤你的系统已经具备了安装Scrapy的环境,接下来通过以下命令开始安装Scrapy:

pip install Scrapy

    安装完成以后查看scrapy版本Scrapy version

 然后Scrapy就可以在windows系统上运行了

截图留念

 

 

 

参考网站(为主)

https://scrapy-chs.readthedocs.org/zh_CN/0.24/intro/install.html

http://www.shangxueba.com/jingyan/1645080.html

http://blog.csdn.net/androidzhaoxiaogang/article/details/8479140

http://blog.163.com/like_playboy/blog/static/19439238820157221571826/

 


© 著作权归作者所有

共有 人打赏支持
kevin_meng
粉丝 1
博文 5
码字总数 3479
作品 0
杨浦
私信 提问
django-dynamic-scraper(DDS)网页抓取环境安装搭建

之前了解了scrapy的强大和速率的惊人,django的便捷,苦于没有机会真正的接触,前几天大哥让研究一下这个框架,wow,DDS强大的把这两个得力的工具整合到了一起,这样只需简单的安装和配置,就...

RocZhang
2013/11/11
0
0
Windows 8.1 (64bit) 下搭建 Scrapy 0.22 环境

我的Windows 8.1 环境 1.下载安装Python 2.7.6 在Python官方网站中下载Python2.7.6的Windows安装包,根据默认配置安装到C:Python27目录。 安装完成后在系统环境变量PATH中配置Python的环境变...

leezhen
2014/02/16
0
2
docker在windows下的安装

docker在windows系统下安装有着许多的坑,在此整理如下 docker for windows的安装 Docker 有专门的 Win10 专业版系统的安装包,需要开启Hyper-V。 在win10下强烈推荐使用docker for windows客...

stutterr
2018/07/24
0
0
深入折腾scrapy之一:环境搭建 beta0.3(2013-2-4更新)

发表于:http://www.ballooncat.com/scrapy-setup.html 最近在深入折腾scrapy,先放出环境搭建教程一枚,随后放出更多关于scrapy配置,扩展方面的教程.教程为beta版,部分细节在实际环境中可能会有...

我不叫大脸猫
2013/01/09
0
0
python安装scrapy/Twisted遇见的坑

入门python,一直听闻有一款非常出门的爬虫框架scrapy,非常想尝试一下,于是通过pip install安装,无奈各种报错(的确是各种报错!!),因为scrapy主要依赖的几个库并不支持python3.x。最后...

BekeyChao
2017/11/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

2019-1-16

2019-1-16 星期三 晴转霾 早饭:小面包+鸡蛋糕;午饭:馍+地三鲜;晚饭:; 6:50起床,因为媳妇说可能今天晚上去大雁塔那边吃饭,早上起来后洗了个澡(主要因为头发很油了)。 今天早上天气...

莱菔籽
11分钟前
0
0
localDate、localDateTime、localTime的使用

从前端接受的时候,localDate类型的数据要转换,加 @DateTimeFormat(pattern = "yyyy-MM-dd")

shimmerkaiye
18分钟前
1
0
1.二叉树

概念 二叉树(binary tree)是每个节点最多只有两个分支(即不存在分支度大于2的节点)的结构树。通常分支被称为“左子树”和“右子树”,左子树和右子树的位置不能随意颠倒。二叉树的第i层 ...

火拳-艾斯
21分钟前
2
0
java 线程

一、通过实现Runnable接口来创建线程 public class TestThread implements Runnable { public void run() { try { for (int i = 0; i < 10; i++) { ......

朝如青丝暮成雪
27分钟前
1
0
关于eclipse2017 import javax.servlet.jsp.tagext引入错误得问题

在eclipse中: 这个javax.servlet.jsp.tagext属于是tomcat相关jar包找到jsp-api.jar 在tomcat文件夹下边的lib文件夹中就有 如果项目中报错的话 把这个加入到项目中 在myeclipse中: 如下图,...

ZhangLG
41分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部