文档章节

ubuntu14.04安装Scrapy和redis时遇到的问题,及解决方法

Airship
 Airship
发布于 2015/12/27 11:01
字数 395
阅读 67
收藏 1
点赞 0
评论 0

准备好  Ubuntu14.04 System.

1. 安装 scrapy:

       1) 按照这个 http://doc.scrapy.org/en/1.0/topics/ubuntu.html#topics-ubuntu

              但是可能会遇到下面的问题

尝试了以下方式解决了该问题:

              1>>sudo apt-get install python-pip【如果已经安装pip就不必操作此步】

              2>>sudo pip install scrapy

2另外,还有可能遇到pyasn1版本的问题:

       解决方法

              1>>sudo apt-get install python-pip

              2>>sudo pip install pyasn1 --upgrade

2. 安装 redis-server

       1)按照 http://jingyan.baidu.com/article/948f592401d172d80ff5f99a.html

sudo apt-get install redis-server

但是默认server绑定了本地IP,不支持远程访问,需要Redis服务器的配置文件redis.conf。

1)修改redis.conf

sudo vi /etc/redis/redis.conf

      

2)注释bind

#bind 127.0.0.1

3)修改后,重启Redis服务器:

sudo /etc/init.d/redis-server restart

redis-cli -h IP地址

【注意】:千万不要在windows下面修改之后再copy覆盖Ubuntu中的redis.conf,之前因为用SecureCRT,它对vi的支持不太好,所以用rz和sz命令把ubuntu中的文件下载到windows本地进行修改之后再上传覆盖,由于删掉了原来的文件,修改后的文件由于编码问题导致各种报错,最后redis崩溃了。尝试了各种方法均不好使,最后卸载了redis,由于存在某些文件的残留,导致redis安装失败。最后只能重装系统,重新开始。

经验教训:得到一个教训在做重要操作之前一定要备份,然后即使犯了错误,也可以返回到最后一次能正确运行的地方。

 

 

 

© 著作权归作者所有

共有 人打赏支持
Airship
粉丝 34
博文 789
码字总数 18996
作品 0
南京
高级程序员
scrapy-redis之简介,安装

(scrapy_redis框架源码: https://github.com/rmax/scrapy-redis) 1 概念原理 scrapy-redis是一个基于redis的分布式爬虫框架,用于在爬取大量请求数据的情况下,单个主机的处理能力不足问题.(可...

LinQiH ⋅ 2017/10/21 ⋅ 0

(pyasn1 0.1.6 (/usr/lib/python2.7/site-packages),

ubuntu14.04下安装爬虫工具scrapy scrapy是目前准备要学习的爬虫框架,其在ubuntu14.04下的安装过程如下: ubuntu14.04下默认安装了2.7的python以及setuptools,若未安装,可通过下面指令安装...

clgo ⋅ 2016/04/12 ⋅ 0

win7 下安装scrapy遇的坑

一. 安装 由于scrapy进行网络抓取的便捷与强大功能,准备在win7下安装该框架,但遇到很多麻烦。 解决方法: 二. 使用 在初步使用scrapy框架时,也出现一些问题:scrapy startproject tutoria...

fight123 ⋅ 2016/11/12 ⋅ 0

ImportError: No module named RedisCrawlSpider

问题: 出现的问题是在centos7 安装scrapy的时候出现的,当时使用的python3.6 环境 当这个问题出现的时候,我们可能没有安装上去scrapy和scrapy_redis,所以尽量要再重新安装一次 解决 命令:...

徐代龙 ⋅ 01/14 ⋅ 0

深入折腾scrapy之一:环境搭建 beta0.3(2013-2-4更新)

发表于:http://www.ballooncat.com/scrapy-setup.html 最近在深入折腾scrapy,先放出环境搭建教程一枚,随后放出更多关于scrapy配置,扩展方面的教程.教程为beta版,部分细节在实际环境中可能会有...

我不叫大脸猫 ⋅ 2013/01/09 ⋅ 0

scrapy-redis分布式爬虫的搭建过程

scrapy-redis分布式爬虫的搭建过程 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为了更方便地实现Scrapy分布式爬取,而提供了一些以redis为基础的组件(仅有组件)。 pip ...

zwq912318834 ⋅ 2017/12/20 ⋅ 0

使用python,scrapy写(定制)爬虫的经验,资料,杂。

近期找工作略不顺。技术无用。晚上写下了这点东西。 首先说下最近在找工作的x的大概相关技术加点路线。py 3年+,linux日常熟练,限于不擅web、手机app开发,一直无太好的可展示的东西。前段时...

斑ban ⋅ 2013/12/27 ⋅ 7

windows下scrapy-redis如何为redis配置密码

windows下scrapy-redis如何为redis配置密码 1. 环境 系统:win7 scrapy-redis redis 3.0.5 python 3.6.1 2. 为redis-server配置密码并启动 redis在windows下的安装与配置,请参考这篇文章:h...

zwq912318834 ⋅ 2017/12/27 ⋅ 0

redis入门系列(一)redis安装部署

用了redis一年多了,虽然原理和命令都了解,应付日常工作绰绰有余,但是从没从头到尾的去学习一下redis。从个人经历来讲,这是一种非常危险的行为。对于一个知识不能形成系统,那遇到问题你只...

spiders ⋅ 2015/08/22 ⋅ 0

windows下如何安装scrapy-redis

如何在windows平台下安装scrapy-redis,(此处特别注意中是用短横线连接的,而非下划线)。 scrapy和scrapy-redis的区别,见下面这篇知乎上的文章 https://www.zhihu.com/question/32302268/...

高正杰 ⋅ 2017/12/24 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

常见数据结构(二)-树(二叉树,红黑树,B树)

本文介绍数据结构中几种常见的树:二分查找树,2-3树,红黑树,B树 写在前面 本文所有图片均截图自coursera上普林斯顿的课程《Algorithms, Part I》中的Slides 相关命题的证明可参考《算法(第...

浮躁的码农 ⋅ 17分钟前 ⋅ 0

android -------- 混淆打包报错 (warning - InnerClass ...)

最近做Android混淆打包遇到一些问题,Android Sdutio 3.1 版本打包的 错误如下: Android studio warning - InnerClass annotations are missing corresponding EnclosingMember annotation......

切切歆语 ⋅ 33分钟前 ⋅ 0

eclipse酷炫大法之设置主题、皮肤

eclipse酷炫大法 目前两款不错的eclipse 1.系统设置 Window->Preferences->General->Appearance 2.Eclipse Marketplace下载【推荐】 Help->Eclipse Marketplace->搜索‘theme’进行安装 比如......

anlve ⋅ 41分钟前 ⋅ 0

vim编辑模式、vim命令模式、vim实践

vim编辑模式 编辑模式用来输入或修改文本内容,编辑模式除了Esc外其他键几乎都是输入 如何进入编辑模式 一般模式输入以下按键,均可进入编辑模式,左下角提示 insert(中文为插入) 字样 i ...

蛋黄Yolks ⋅ 45分钟前 ⋅ 0

大数据入门基础:SSH介绍

什么是ssh 简单说,SSH是一种网络协议,用于计算机之间的加密登录。 如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码...

董黎明 ⋅ 今天 ⋅ 0

web3j教程

web3j是一个轻量级、高度模块化、响应式、类型安全的Java和Android类库提供丰富API,用于处理以太坊智能合约及与以太坊网络上的客户端(节点)进行集成。 汇智网最新发布的web3j教程,详细讲解...

汇智网教程 ⋅ 今天 ⋅ 0

谷歌:安全问题机制并不如你想象中安全

腾讯科技讯 5月25日,如今的你或许已经对许多网站所使用的“安全问题机制”习以为常了,但你真的认为包括“你第一个宠物的名字是什么?”这些问题能够保障你的帐户安全吗? 根据谷歌(微博)安...

问题终结者 ⋅ 今天 ⋅ 0

聊聊spring cloud gateway的RedisRateLimiter

序 本文主要研究下spring cloud gateway的RedisRateLimiter GatewayRedisAutoConfiguration spring-cloud-gateway-core-2.0.0.RELEASE-sources.jar!/org/springframework/cloud/gateway/con......

go4it ⋅ 今天 ⋅ 0

169. Majority Element - LeetCode

Question 169. Majority Element Solution 思路:构造一个map存储每个数字出现的次数,然后遍历map返回出现次数大于数组一半的数字. 还有一种思路是:对这个数组排序,次数超过n/2的元素必然在中...

yysue ⋅ 今天 ⋅ 0

NFS

14.1 NFS介绍 NFS是Network File System的缩写 NFS最早由Sun公司开发,分2,3,4三个版本,2和3由Sun起草开发,4.0开始Netapp公司参与并主导开发,最新为4.1版本 NFS数据传输基于RPC协议,RPC...

派派菠菜 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部