文档章节

scrapy-1 安装scrapy

jastme
 jastme
发布于 2014/06/13 22:23
字数 233
阅读 132
收藏 0

scrapy 2.2.0版本     环境 python2.7

可以使用pip install scrapy安装,建议在Ubuntu上安装。

Ubuntu 安装方法

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7;
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list;
apt-get install scrapy  ----> 运行这个命令可安装,注意会让你选择版本
sudo apt-get update && sudo apt-get install scrapy-VERSION   升级scrapy

安装好scrapy后我们可以开始爬虫之旅


创建爬虫项目

scrapy startproject boge   创建一个叫boge的爬虫项目

我们来看看目录树

└── boge
    ├── boge
    │   ├── __init__.py
    │   ├── __init__.pyc
    │   ├── items.py
    │   ├── pipelines.py
    │   ├── settings.py
    │   ├── settings.pyc
    │   └── spiders
    │       ├── __init__.py
    │       ├── __init__.pyc
    │       ├── pic.py
    │       └── pic.pyc
    └── scrapy.cfg


到这里我们就创建好了一个爬虫项目。

在WINDOWS上记得要安装VS,不然各种莫名其妙的错误。

在CENTOS上安装记得python版本一定要是2.7的,5.X是2.4版本,6.X是2.6版本。切记。

© 著作权归作者所有

jastme
粉丝 40
博文 138
码字总数 62396
作品 0
成都
程序员
私信 提问
RHEL 5下安装Scrapy-0.14.0.2841爬虫框架

Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很多企业用于生产环境。对于它的更多介绍,可以查阅相关资料(官方网站:www.scrapy.org)。 我们根据官网提...

durban
2012/04/30
153
0
Scrapy1.4最新官方文档总结 1 介绍·安装

Scrapy1.4最新官方文档总结 1 介绍·安装 Scrapy1.4最新官方文档总结 2 Tutorial Scrapy1.4最新官方文档总结 3 命令行工具 《Learning Scrapy》这本书是2016年1月出版的,作者使用的版本是S...

seancheney
2017/10/02
0
0
Scrapy爬虫(8)scrapy-splash的入门

scrapy-splash的介绍   在前面的博客中,我们已经见识到了Scrapy的强大之处。但是,Scrapy也有其不足之处,即Scrapy没有JS engine, 因此它无法爬取JavaScript生成的动态网页,只能爬取静态...

jclian91
2018/03/17
0
0
【python】windows Python3.6下scrapy框架的安装

pip install scrapy 命令安装,提示Failed building wheel for TwistedMicrosoft Visual C++ 14.0 is required... 解决:1、直接使用pip install scrapy安装不成功可以安装whl格式的包首先下...

_______-
2017/12/09
89
0
win7 64位 scrapy安装

scrapy的安装不难 就是挺麻烦的,需要安装scrapy的一些依赖包,我以我的机子环境为例说明一些安装过程 系统:win7 64bit 安装步骤: 1.先安装Python,机子是64位的,所以Python最好安装64位的...

Airship
2015/12/13
38
0

没有更多内容

加载失败,请刷新页面

加载更多

html2canvas 生成的图片变模糊解决方案

需求: 背景图片和二维码还有用户微信头像生成一张图片,可供用户下载。打开页面的时候就是一张图可以保存,html2canvas插件即可实现效果,效果是实现了,但是很郁闷,图片模糊了。。。。 为...

前端老手
22分钟前
6
0
语音翻译器在线翻译语音

对于英语不好的朋友来说,如果出国旅游,多多少少都会使用到翻译软件。通过在线翻译的方式,方便彼此的沟通交流。那么,有朋友就在问哪个英语翻译软件最准确?下面就来和大家一起分享下这个简...

401恶户
23分钟前
6
0
国内25家滤波器公司排名

国内做滤波器的企业都有哪些?哪些企业做滤波器是比较知名的?国内滤波器企业排名如何?以下是解优人才网小编给大家的分享,国内前25家做滤波器的企业详细信息。 1、武汉凡谷电子技术股份有限...

猎头悬赏平台
28分钟前
7
0
即时配送,不再只是巨头的战场

9月4日,第十届中国电子商务物流大会暨2019中国同城即时物流行业峰会于杭州召开。会上出现了蜂鸟即配、达达-京东到家、美团配送、点我达、闪送等一众即时配送行业中的知名企业的身影。 在艾媒...

喵二狸
28分钟前
6
0
Moto G 2014 LTE Root

[TOC] 下载moto专用mfastboot mfastboot-v2.zip 下载对应设备的twrp 我的是这个版本 Moto G 2014 LTE thea 刷入twrp # 1. 开启USE调试# 2. 允许OEM解锁# 3. 查看设备adb devices# 4. 进f...

yeahlife
32分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部