文档章节

(pyasn1 0.1.6 (/usr/lib/python2.7/site-packages),

clgo
 clgo
发布于 2016/04/12 11:11
字数 274
阅读 345
收藏 3
点赞 1
评论 0

ubuntu14.04下安装爬虫工具scrapy

scrapy是目前准备要学习的爬虫框架,其在ubuntu14.04下的安装过程如下:

ubuntu14.04下默认安装了2.7的python以及setuptools,若未安装,可通过下面指令安装:

sudo apt-get install pythonsudo apt-get install python-setuptools

然后安装Twisted:

sudo apt-get install python-twisted

然后是Scrapy:

sudo apt-get install python-scrapy

安装完成后,如果直接键入scrapy启动的话会报类似如下错误:

File "/usr/local/bin/scrapy", line 5, in <module>
    from pkg_resources import load_entry_point

......

pkg_resources.ContextualVersionConflict: (pyasn1 0.1.7 (/usr/lib/python2.7/dist-packages), Requirement.parse('pyasn1>=0.1.8'), set(['pyasn1-modules']))

按提示是个版本依赖的错误。

此时先安装pip:

sudo apt-get install python-pip

升级pip:

sudo pip install --upgrade pip

然后对提示的pyasn1升级:

sudo pip install --upgrade pyasn1

再启动scrapy就可以成功了:

Scrapy 1.0.3 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  commands      
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command



© 著作权归作者所有

共有 人打赏支持
clgo
粉丝 2
博文 92
码字总数 36496
作品 0
郑州
CentOS7 安装OpenStack 初始化数据库时出错

[root@etcd-node1 ~]# su -s /bin/sh -c "keystone-manage db_sync" keystone Traceback (most recent call last): File "/usr/bin/keystone-manage", line 6, in from keystone.cmd.manage ......

驛路梨花醉美
2017/08/10
28
0
使用的graphite,为什么访问的时候总出现Apps aren't loaded yet这个错误?

Traceback (most recent call last): File "/usr/local/python2.7/lib/python2.7/site-packages/django/core/handlers/wsgi.py", line 158, in call self.load_middleware() File "/usr/loca......

洒洒
2016/04/28
843
0
django 报错求大神指教

django执行python manage.py migrate后出现报错 Operations to perform: Synchronize unmigrated apps: staticfiles, messages Apply all migrations: sessions, admin, auth, contenttypes,......

迷途小书虫
2017/03/10
94
4
执行 python manage.py runserver 0.0.0.0:8080 时报错,如何解决?

python manage.py runserver 0.0.0.0:8080 Performing system checks... System check identified no issues (0 silenced). Unhandled exception in thread started by Traceback (most rece......

LionelShen
2016/09/26
780
2
安装opencv在MacOS上

1. 使用brew安装opencv brew tap homebrew/science brew install opencv ls /Users/mac/Library/Python/2.7/lib/python/site-packages mkdir -p /Users/mac/Library/Python/2.7/lib/python/......

net_worker
2017/06/13
0
0
ValueError: ('Missing distribution spec', '\xe2\x80\x93upgrade')

cat pip.log ------------------------------------------------------------ /usr/bin/pip run on Fri Mar 10 02:16:02 2017 Exception: Traceback (most recent call last): File "/usr/li......

sca7
2017/03/10
95
0
 pip install –upgrade https://storage.googleapis.com/tensorflow 

pip install –upgrade https://storage.googleapis.com/tensorflow Exception: Traceback (most recent call last): File "/usr/lib/python2.7/site-packages/pip-1.5.4-py2.7.egg/pip/base......

sca7
2017/03/10
141
0
Python中模块使用及面向对象介绍

1.模块使用 模块: 模块式pyth1.on组织代码的基本方式 一个python脚本可以单独运行,也可以导入另一个脚本中运行,当脚本被导入运行时,我们将其称为模块(module) 所有的点p为文件都可以作为...

枫叶云
01/10
0
0
python错误:distutils.errors.DistutilsError 解决方法

服务器安装protobuf-2.6.1包时,报错如下: [root@host73 python]# python setup.py install Download error on https://pypi.python.org/simple/google-apputils/: [Errno -2] Name or serv......

模范生
2017/04/21
0
0
centos7 安装 tensorflow失败

setuptools-0.6c11]# pip install https://storage.googleapis.com/tensorflow/Linux/cpu/tensorflow-0.5.0-cp27-none-linuxx8664.whl Downloading/unpacking https://storage.googleapis.co......

sca7
2017/03/10
908
5

没有更多内容

加载失败,请刷新页面

加载更多

下一页

shell中的函数、shell中的数组、告警系统需求分析

shell中的函数 格式: 格式: function f_name() { command } 函数必须要放在最前面 示例1(用来打印参数) 示例2(用于定义加法) 示例3(用于显示IP) shell中的数组 shell中的数组1 定义数...

Zhouliang6
今天
2
0
用 Scikit-Learn 和 Pandas 学习线性回归

      对于想深入了解线性回归的童鞋,这里给出一个完整的例子,详细学完这个例子,对用scikit-learn来运行线性回归,评估模型不会有什么问题了。 1. 获取数据,定义问题     没有...

wangxuwei
今天
1
0
MAC安装MAVEN

一:下载maven压缩包(Zip或tar可选),解压压缩包 二:打开终端输入:vim ~/.bash_profile(如果找不到该文件新建一个:touch ./bash_profile) 三:输入i 四:输入maven环境变量配置 MAVEN_HO...

WALK_MAN
今天
0
0
33.iptables备份与恢复 firewalld的9个zone以及操作 service的操作

10.19 iptables规则备份和恢复 10.20 firewalld的9个zone 10.21 firewalld关于zone的操作 10.22 firewalld关于service的操作 10.19 iptables规则备份和恢复: ~1. 保存和备份iptables规则 ~2...

王鑫linux
今天
2
0
大数据教程(2.11):keeperalived+nginx高可用集群搭建教程

上一章节博主为大家介绍了目前大型互联网项目的系统架构体系,相信大家应该注意到其中很重要的一块知识nginx技术,在本节博主将为大家分享nginx的相关技术以及配置过程。 一、nginx相关概念 ...

em_aaron
今天
1
0
Apache Directory Studio连接Weblogic内置LDAP

OBIEE默认使用Weblogic内置LDAP管理用户及组。 要整理已存在的用户及组,此前办法是导出安全数据,文本编辑器打开认证文件,使用正则表达式获取用户及组的信息。 后来想到直接用Apache Dire...

wffger
今天
2
0
HFS

FS,它是一种上传文件的软件。 专为个人用户所设计的 HTTP 档案系统 - Http File Server,如果您觉得架设 FTP Server 太麻烦,那么这个软件可以提供您更方便的档案传输系统,下载后无须安装,...

garkey
今天
1
0
Java IO类库之BufferedInputStream

一、BufferedInputStream介绍 /** * A <code>BufferedInputStream</code> adds * functionality to another input stream-namely, * the ability to buffer the input and to * sup......

老韭菜
今天
0
0
STM 32 窗口看门狗

http://bbs.elecfans.com/jishu_805708_1_1.html https://blog.csdn.net/a1985831055/article/details/77404131...

whoisliang
昨天
1
0
Dubbo解析(六)-服务调用

当dubbo消费方和提供方都发布和引用完成后,第四步就是消费方调用提供方。 还是以dubbo的DemoService举例 -- 提供方<dubbo:application name="demo-provider"/><dubbo:registry address="z...

青离
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部