文档章节

(pyasn1 0.1.6 (/usr/lib/python2.7/site-packages),

clgo
 clgo
发布于 2016/04/12 11:11
字数 274
阅读 388
收藏 3

ubuntu14.04下安装爬虫工具scrapy

scrapy是目前准备要学习的爬虫框架,其在ubuntu14.04下的安装过程如下:

ubuntu14.04下默认安装了2.7的python以及setuptools,若未安装,可通过下面指令安装:

sudo apt-get install pythonsudo apt-get install python-setuptools

然后安装Twisted:

sudo apt-get install python-twisted

然后是Scrapy:

sudo apt-get install python-scrapy

安装完成后,如果直接键入scrapy启动的话会报类似如下错误:

File "/usr/local/bin/scrapy", line 5, in <module>
    from pkg_resources import load_entry_point

......

pkg_resources.ContextualVersionConflict: (pyasn1 0.1.7 (/usr/lib/python2.7/dist-packages), Requirement.parse('pyasn1>=0.1.8'), set(['pyasn1-modules']))

按提示是个版本依赖的错误。

此时先安装pip:

sudo apt-get install python-pip

升级pip:

sudo pip install --upgrade pip

然后对提示的pyasn1升级:

sudo pip install --upgrade pyasn1

再启动scrapy就可以成功了:

Scrapy 1.0.3 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  commands      
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command



© 著作权归作者所有

共有 人打赏支持
clgo
粉丝 2
博文 95
码字总数 36757
作品 0
郑州
私信 提问
CentOS7 安装OpenStack 初始化数据库时出错

[root@etcd-node1 ~]# su -s /bin/sh -c "keystone-manage db_sync" keystone Traceback (most recent call last): File "/usr/bin/keystone-manage", line 6, in from keystone.cmd.manage ......

驛路梨花醉美
2017/08/10
113
0
django 报错求大神指教

django执行python manage.py migrate后出现报错 Operations to perform: Synchronize unmigrated apps: staticfiles, messages Apply all migrations: sessions, admin, auth, contenttypes,......

迷途小书虫
2017/03/10
183
4
使用的graphite,为什么访问的时候总出现Apps aren't loaded yet这个错误?

Traceback (most recent call last): File "/usr/local/python2.7/lib/python2.7/site-packages/django/core/handlers/wsgi.py", line 158, in __call__ self.load_middleware() File "/usr/......

洒洒
2016/04/28
1K
0
执行 python manage.py runserver 0.0.0.0:8080 时报错,如何解决?

# python manage.py runserver 0.0.0.0:8080 Performing system checks... System check identified no issues (0 silenced). Unhandled exception in thread started by Traceback (most re......

LionelShen
2016/09/26
1K
2
ml2配置中port_security 打开后 neutron neutron net-list 报错。 修正port_security.py后neutron-server服务起不来。

问题:发现Kilo版本,neutron 模块ml2 配置中:一旦配置 extension_drivers = port_security ,则neutron net-list 报错如下: 4'] get_ports_and_sgs /usr/lib/python2.7/site-packages/neu......

shore_go
08/24
85
0

没有更多内容

加载失败,请刷新页面

加载更多

Nginx-使用简单总结

下载nginx:http://nginx.org/en/download.html 下载后解压 有很多种方法启动nginx (1)直接双击nginx.exe, 双击后一个黑色的弹窗一闪而过 (2)打开cmd命令窗口,切换到nginx解压目录下, 输入...

Java搬砖工程师
12分钟前
1
0
通过修改控制文件scn推进数据库scn

在数据库遇到ora-600[2662],scn不一致(又没有日志)的时候,我们首先想到的就是去推进数据库的scn,让数据库能够open起来,抢救其中的数据,但是由于各种乱用的情况,oraclescn的pach出来后(11.2...

突突突酱
13分钟前
1
0
Underscore _.template 方法使用详解

https://github.com/hanzichi/underscore-analysis/issues/26 前文 浅谈 Web 中前后端模板引擎的使用 我们简单了解了模板引擎在前后端的应用场景,本文重点深入 Underscore 的模板函数 _.te...

壹峰
14分钟前
0
0
前端缩短数字的长度解决方案[10进制转化为64进制]

function string10to64 (number) { var chars = '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz_$'.split(''), radix = chars.length, qutient =......

未来cc
14分钟前
0
0
十年架构师不到400行手写一个Spring MVC

首先,我们先来介绍一下Spring的三个阶段,配置阶段、初始化阶段和运行阶段(如图): 配置阶段:主要是完成application.xml配置和Annotation配置。 初始化阶段:主要是加载并解析配置信息,...

小刀爱编程
15分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部