文档章节

ubuntu14.04安装Scrapy和redis时遇到的问题,及解决方法

Airship
 Airship
发布于 2015/12/27 11:01
字数 395
阅读 68
收藏 1

准备好  Ubuntu14.04 System.

1. 安装 scrapy:

       1) 按照这个 http://doc.scrapy.org/en/1.0/topics/ubuntu.html#topics-ubuntu

              但是可能会遇到下面的问题

尝试了以下方式解决了该问题:

              1>>sudo apt-get install python-pip【如果已经安装pip就不必操作此步】

              2>>sudo pip install scrapy

2另外,还有可能遇到pyasn1版本的问题:

       解决方法

              1>>sudo apt-get install python-pip

              2>>sudo pip install pyasn1 --upgrade

2. 安装 redis-server

       1)按照 http://jingyan.baidu.com/article/948f592401d172d80ff5f99a.html

sudo apt-get install redis-server

但是默认server绑定了本地IP,不支持远程访问,需要Redis服务器的配置文件redis.conf。

1)修改redis.conf

sudo vi /etc/redis/redis.conf

      

2)注释bind

#bind 127.0.0.1

3)修改后,重启Redis服务器:

sudo /etc/init.d/redis-server restart

redis-cli -h IP地址

【注意】:千万不要在windows下面修改之后再copy覆盖Ubuntu中的redis.conf,之前因为用SecureCRT,它对vi的支持不太好,所以用rz和sz命令把ubuntu中的文件下载到windows本地进行修改之后再上传覆盖,由于删掉了原来的文件,修改后的文件由于编码问题导致各种报错,最后redis崩溃了。尝试了各种方法均不好使,最后卸载了redis,由于存在某些文件的残留,导致redis安装失败。最后只能重装系统,重新开始。

经验教训:得到一个教训在做重要操作之前一定要备份,然后即使犯了错误,也可以返回到最后一次能正确运行的地方。

 

 

 

© 著作权归作者所有

共有 人打赏支持
Airship
粉丝 38
博文 908
码字总数 19854
作品 0
南京
高级程序员
私信 提问
scrapy-redis之简介,安装

(scrapy_redis框架源码: https://github.com/rmax/scrapy-redis) 1 概念原理 scrapy-redis是一个基于redis的分布式爬虫框架,用于在爬取大量请求数据的情况下,单个主机的处理能力不足问题.(可...

LinQiH
2017/10/21
0
0
(pyasn1 0.1.6 (/usr/lib/python2.7/site-packages),

ubuntu14.04下安装爬虫工具scrapy scrapy是目前准备要学习的爬虫框架,其在ubuntu14.04下的安装过程如下: ubuntu14.04下默认安装了2.7的python以及setuptools,若未安装,可通过下面指令安装...

clgo
2016/04/12
193
0
ImportError: No module named RedisCrawlSpider

问题: 出现的问题是在centos7 安装scrapy的时候出现的,当时使用的python3.6 环境 当这个问题出现的时候,我们可能没有安装上去scrapy和scrapy_redis,所以尽量要再重新安装一次 解决 命令:...

徐代龙
01/14
0
0
win7 下安装scrapy遇的坑

一. 安装 由于scrapy进行网络抓取的便捷与强大功能,准备在win7下安装该框架,但遇到很多麻烦。 解决方法: 二. 使用 在初步使用scrapy框架时,也出现一些问题:scrapy startproject tutoria...

fight123
2016/11/12
16
0
scrapy-redis分布式爬虫的搭建过程

scrapy-redis分布式爬虫的搭建过程 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 pip ...

zwq912318834
2017/12/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
50分钟前
11
3
Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
12
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
18
0

中国龙-扬科
昨天
2
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部