文档章节

(pyasn1 0.1.6 (/usr/lib/python2.7/site-packages),

clgo
 clgo
发布于 2016/04/12 11:11
字数 274
阅读 380
收藏 3

ubuntu14.04下安装爬虫工具scrapy

scrapy是目前准备要学习的爬虫框架,其在ubuntu14.04下的安装过程如下:

ubuntu14.04下默认安装了2.7的python以及setuptools,若未安装,可通过下面指令安装:

sudo apt-get install pythonsudo apt-get install python-setuptools

然后安装Twisted:

sudo apt-get install python-twisted

然后是Scrapy:

sudo apt-get install python-scrapy

安装完成后,如果直接键入scrapy启动的话会报类似如下错误:

File "/usr/local/bin/scrapy", line 5, in <module>
    from pkg_resources import load_entry_point

......

pkg_resources.ContextualVersionConflict: (pyasn1 0.1.7 (/usr/lib/python2.7/dist-packages), Requirement.parse('pyasn1>=0.1.8'), set(['pyasn1-modules']))

按提示是个版本依赖的错误。

此时先安装pip:

sudo apt-get install python-pip

升级pip:

sudo pip install --upgrade pip

然后对提示的pyasn1升级:

sudo pip install --upgrade pyasn1

再启动scrapy就可以成功了:

Scrapy 1.0.3 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  commands      
  fetch         Fetch a URL using the Scrapy downloader
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command



© 著作权归作者所有

共有 人打赏支持
clgo
粉丝 2
博文 93
码字总数 36531
作品 0
郑州
CentOS7 安装OpenStack 初始化数据库时出错

[root@etcd-node1 ~]# su -s /bin/sh -c "keystone-manage db_sync" keystone Traceback (most recent call last): File "/usr/bin/keystone-manage", line 6, in from keystone.cmd.manage ......

驛路梨花醉美
2017/08/10
28
0
使用的graphite,为什么访问的时候总出现Apps aren't loaded yet这个错误?

Traceback (most recent call last): File "/usr/local/python2.7/lib/python2.7/site-packages/django/core/handlers/wsgi.py", line 158, in call self.load_middleware() File "/usr/loca......

洒洒
2016/04/28
843
0
django 报错求大神指教

django执行python manage.py migrate后出现报错 Operations to perform: Synchronize unmigrated apps: staticfiles, messages Apply all migrations: sessions, admin, auth, contenttypes,......

迷途小书虫
2017/03/10
94
4
ml2配置中port_security 打开后 neutron neutron net-list 报错。 修正port_security.py后neutron-server服务起不来。

问题:发现Kilo版本,neutron 模块ml2 配置中:一旦配置 extensiondrivers = portsecurity ,则neutron net-list 报错如下: 4'] getportsand_sgs /usr/lib/python2.7/site-packages/neutron......

shore_go
08/24
0
0
执行 python manage.py runserver 0.0.0.0:8080 时报错,如何解决?

python manage.py runserver 0.0.0.0:8080 Performing system checks... System check identified no issues (0 silenced). Unhandled exception in thread started by Traceback (most rece......

LionelShen
2016/09/26
780
2

没有更多内容

加载失败,请刷新页面

加载更多

Maven 项目中依赖的搜索顺序

ettings_mirror 的优先级高于 central settings_profile_repo 优先级高于 settings_mirror settings_profile_repo 优先级高于 pom_repositories settings_profile_repo 优先级高于 pom_prof......

xingyu4j
9分钟前
1
0
改变maven项目的名称

pom.xml <groupId>com.soft.xxx</groupId><artifactId>xxx</artifactId><packaging>war</packaging><version>0.0.1-SNAPSHOT</version><name>xxx Maven Webapp</name><build>......

1713716445
11分钟前
2
0
windows下按照RabbitMQ

rabbitMQ是一个在AMQP协议标准基础上完整的,可服用的企业消息系统。它遵循Mozilla Public License开源协议,采用 Erlang 实现的工业级的消息队列(MQ)服务器,Rabbit MQ 是建立在Erlang OTP平...

zhaochaochao
11分钟前
2
0
10个PHP比特币开源项目

如果你是一个Phper,如果你希望学习区块链,那么本文列出的10个开源的Php比特币项目,将有助于你了解在自己的应用中如何加入对比特币的支持。 如果你希望快速掌握使用Php对接比特币钱包的方法...

笔阁
18分钟前
10
0
MyBatis级联探讨

数据模型 <?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><mapper name......

职业搬砖20年
22分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部