文档章节

ubuntu14.04安装Scrapy和redis时遇到的问题,及解决方法

Airship
 Airship
发布于 2015/12/27 11:01
字数 395
阅读 67
收藏 1

准备好  Ubuntu14.04 System.

1. 安装 scrapy:

       1) 按照这个 http://doc.scrapy.org/en/1.0/topics/ubuntu.html#topics-ubuntu

              但是可能会遇到下面的问题

尝试了以下方式解决了该问题:

              1>>sudo apt-get install python-pip【如果已经安装pip就不必操作此步】

              2>>sudo pip install scrapy

2另外,还有可能遇到pyasn1版本的问题:

       解决方法

              1>>sudo apt-get install python-pip

              2>>sudo pip install pyasn1 --upgrade

2. 安装 redis-server

       1)按照 http://jingyan.baidu.com/article/948f592401d172d80ff5f99a.html

sudo apt-get install redis-server

但是默认server绑定了本地IP,不支持远程访问,需要Redis服务器的配置文件redis.conf。

1)修改redis.conf

sudo vi /etc/redis/redis.conf

      

2)注释bind

#bind 127.0.0.1

3)修改后,重启Redis服务器:

sudo /etc/init.d/redis-server restart

redis-cli -h IP地址

【注意】:千万不要在windows下面修改之后再copy覆盖Ubuntu中的redis.conf,之前因为用SecureCRT,它对vi的支持不太好,所以用rz和sz命令把ubuntu中的文件下载到windows本地进行修改之后再上传覆盖,由于删掉了原来的文件,修改后的文件由于编码问题导致各种报错,最后redis崩溃了。尝试了各种方法均不好使,最后卸载了redis,由于存在某些文件的残留,导致redis安装失败。最后只能重装系统,重新开始。

经验教训:得到一个教训在做重要操作之前一定要备份,然后即使犯了错误,也可以返回到最后一次能正确运行的地方。

 

 

 

© 著作权归作者所有

共有 人打赏支持
Airship
粉丝 38
博文 879
码字总数 18996
作品 0
南京
高级程序员
scrapy-redis之简介,安装

(scrapy_redis框架源码: https://github.com/rmax/scrapy-redis) 1 概念原理 scrapy-redis是一个基于redis的分布式爬虫框架,用于在爬取大量请求数据的情况下,单个主机的处理能力不足问题.(可...

LinQiH
2017/10/21
0
0
(pyasn1 0.1.6 (/usr/lib/python2.7/site-packages),

ubuntu14.04下安装爬虫工具scrapy scrapy是目前准备要学习的爬虫框架,其在ubuntu14.04下的安装过程如下: ubuntu14.04下默认安装了2.7的python以及setuptools,若未安装,可通过下面指令安装...

clgo
2016/04/12
193
0
ImportError: No module named RedisCrawlSpider

问题: 出现的问题是在centos7 安装scrapy的时候出现的,当时使用的python3.6 环境 当这个问题出现的时候,我们可能没有安装上去scrapy和scrapy_redis,所以尽量要再重新安装一次 解决 命令:...

徐代龙
01/14
0
0
win7 下安装scrapy遇的坑

一. 安装 由于scrapy进行网络抓取的便捷与强大功能,准备在win7下安装该框架,但遇到很多麻烦。 解决方法: 二. 使用 在初步使用scrapy框架时,也出现一些问题:scrapy startproject tutoria...

fight123
2016/11/12
16
0
scrapy-redis分布式爬虫的搭建过程

scrapy-redis分布式爬虫的搭建过程 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 pip ...

zwq912318834
2017/12/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

TypeScript基础入门之JSX(二)

转发 TypeScript基础入门之JSX(二) 属性类型检查 键入检查属性的第一步是确定元素属性类型。 内在元素和基于价值的元素之间略有不同。 对于内部元素,它是JSX.IntrinsicElements上的属性类型...

durban
32分钟前
0
0
AVA中CAS-ABA的问题解决方案AtomicStampedReference

了解CAS(Compare-And-Swap) CAS即对比交换,它在保证数据原子性的前提下尽可能的减少了锁的使用,很多编程语言或者系统实现上都大量的使用了CAS。 JAVA中CAS的实现 JAVA中的cas主要使用的是...

码代码的小司机
34分钟前
1
0
Android JNI开发系列(十三) JNI异常处理

JNI 异常处理 JNI异常与JAVA处理异常的区别 JAVA 有异常处理机制,而JNI没有 如果JAVA中异常没有捕获,后面的代码不会执行,JNI会执行 JAVA编译时的异常,是在方法显示的声明了某一个异常,编...

蔡小鹏
48分钟前
2
0
简单介绍Java 的JAR包、EAR包、WAR包区别

WAR包 WAR(Web Archive file)网络应用程序文件,是与平台无关的文件格式,它允许将许多文件组合成一个压缩文件。War专用于Web方面。大部分的JAVA WEB工程,都是打成WAR包进行发布的。 War是...

Linux就该这么学
今天
1
0
Qt那些事0.0.7

在帮助文档(Overview - QML and C++ Integration)中随缘遇到一张图,是关于C++对象与QML整合介绍的,值得标记下来,虽然大部分功能也有所涉猎,但是还是留个记号,万一哪天我失忆了还想写Q...

Ev4n
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部