文档章节

Python+Scrapy安装

嚣张乾坤
 嚣张乾坤
发布于 2015/01/07 10:15
字数 470
阅读 24354
收藏 9

    抓取网站的代码实现很多,如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。(我的是xp系统)

    1.安装Python

    安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载地址

     

    2.安装lxml

    lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击 这里选择对应的Python版本安装。验证是否安装成功,如下图。
    
   
    3.安装setuptools

    用来安装egg文件,点击 这里下载python2.7的对应版本的setuptools。
    
    4.安装zope.interface

    可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。

    5.安装Twisted

    Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。

    6.安装pyOpenSSL

    pyOpenSSL是Python的OpenSSL接口,点击 这里下载。
    
    7.安装win32py
    
    提供win32api,点击 这里下载

    8.安装Scrapy

    终于轮到安装scrapy了,直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行进行成功与否的验证如图所示。

   

    安装完成,开始使用吧!


© 著作权归作者所有

嚣张乾坤
粉丝 12
博文 72
码字总数 24949
作品 0
海淀
高级程序员
私信 提问
加载中

评论(1)

zshgss
zshgss
点赞哦13
代友发布 找人写一个采集网站的程序. 详细请进..

找人写一个采集网站的程序. 要求.最好用python+scrapy采集入库到mysql数据库.用python+django展示出来. 类似于 www.xyzp.net 这个网站. 就是采集全国各大学就业网站每天发布的信息. 然后汇集...

gq2018
2015/01/26
4.3K
24
python+scrapy怎么导入eclipse from scrapy.spiders import BaseSpider出错

各位大神好,这个问题困扰几天了,我想用Scrapy框架做爬虫,Scrapy安装成功 在命令行执行都正确,如图,但把项目导到eclipse提示Unresolved import: BaseSpiders,请问这个为什么识别不了,e...

kevin_wx
2015/11/06
539
0
关于scrapy的一篇文章---Civic Hacking with Python – Part 2

Getting Started Switch to a work directory then create your base Scrapy project (I called mine mtqinfra): $ scrapy startproject mtqinfra $ find . . ./mtqinfra ./mtqinfra/init.py......

durban
2012/07/30
720
0

没有更多内容

加载失败,请刷新页面

加载更多

没有更多内容

nginx学习笔记

中间件位于客户机/ 服务器的操作系统之上,管理计算机资源和网络通讯。 是连接两个独立应用程序或独立系统的软件。 web请求通过中间件可以直接调用操作系统,也可以经过中间件把请求分发到多...

码农实战
今天
5
0
Spring Security 实战干货:玩转自定义登录

1. 前言 前面的关于 Spring Security 相关的文章只是一个预热。为了接下来更好的实战,如果你错过了请从 Spring Security 实战系列 开始。安全访问的第一步就是认证(Authentication),认证...

码农小胖哥
今天
9
0
JAVA 实现雪花算法生成唯一订单号工具类

import lombok.SneakyThrows;import lombok.extern.slf4j.Slf4j;import java.util.Calendar;/** * Default distributed primary key generator. * * <p> * Use snowflake......

huangkejie
昨天
12
0
PhotoShop 色调:RGB/CMYK 颜色模式

一·、 RGB : 三原色:红绿蓝 1.通道:通道中的红绿蓝通道分别对应的是红绿蓝三种原色(RGB)的显示范围 1.差值模式能模拟三种原色叠加之后的效果 2.添加-颜色曲线:调整图像RGB颜色----R色增强...

东方墨天
昨天
11
1
将博客搬至CSDN

将博客搬至CSDN

算法与编程之美
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部