文档章节

Mac 安装scrapy

s
 showqing
发布于 2016/08/08 21:52
字数 556
阅读 44
收藏 0

1、安装home brew

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2、安装pip

 不要用这个命令安装

sudo python get-pip.py

安装会报错

解决方法:

easy_install pip

3、安装Scrapy

sudo pip install Scrapy

但是会报错

Downloading attrs-16.0.0-py2.py3-none-any.whl

Requirement already satisfied (use --upgrade to upgrade): zope.interface>=3.6.0 in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from Twisted>=10.0.0->Scrapy)

Requirement already satisfied (use --upgrade to upgrade): setuptools in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from zope.interface>=3.6.0->Twisted>=10.0.0->Scrapy)

Installing collected packages: pyasn1, pyasn1-modules, attrs, service-identity, six, w3lib, Twisted, lxml, cssselect, parsel, PyDispatcher, queuelib, Scrapy

  Found existing installation: six 1.4.1

    DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.

    Uninstalling six-1.4.1:

Exception:

Traceback (most recent call last):

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/basecommand.py", line 215, in main

    status = self.run(options, args)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/commands/install.py", line 317, in run

    prefix=options.prefix_path,

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_set.py", line 736, in install

    requirement.uninstall(auto_confirm=True)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_install.py", line 742, in uninstall

    paths_to_remove.remove(auto_confirm)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_uninstall.py", line 115, in remove

    renames(path, new_path)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/utils/__init__.py", line 267, in renames

    shutil.move(old, new)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move

    copy2(src, real_dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2

    copystat(src, dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat

    os.chflags(dst, st.st_flags)

OSError: [Errno 1] Operation not permitted: '/tmp/pip-OPuqW3-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

报错的原因是有的包里已经装了依赖库six 1.4.1

4.解决报错的方法:sudo pip install Scrapy --ignore-installed six

5.然后命令行输入:scrapy,还是不行,会报错:

ImportError: cannot import name xmlrpc_client

解决方法见

http://stackoverflow.com/questions/30964836/scrapy-throws-importerror-cannot-import-name-xmlrpc-client

但是首先的关闭mac的sip(System Integrity Protection 系统完整性保护),关闭步骤如下:

a、重启mac,按住Command +R键知道Apple大大的苹果logo出现,进入Recovery模式

b、点击Utilties->Terminal

c、在Terminal中输入:csrutil disable ,回车

d、重启mac

sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six

为了下次装环境,特意记录了下来。

 

安装完后,重新开启sip,只是输入的命令位:csrutil enable

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
s
粉丝 2
博文 51
码字总数 7278
作品 0
南京
私信 提问
Python环境下Scrapy爬虫框架安装

配置Python环境 首先确认电脑配置好python环境,如果是mac用户,进入终端输入以下指令,如果是windows,进入cmd输入以下指令 如未安装,百度搜索相应教程安装python,2、3版本都可以的,mac...

巧不巧克力
2017/11/06
0
0
mac下python安装和scrapy安装

mac自带python和pip等工具,但是在使用安装scrapy时,报了一些错,因为对操作系统一些核心目录(比如/Library)没有可操作权限,mac有自己的一些权限控制程序(非sudo chmod能改变),所以干...

一杯开心茶
2017/08/14
0
0
Mac环境Python3.x/Python2.x安装第三方库,比如Pillow、Scrapy等

前言 Mac环境下虽然是系统自带Python2.x,但是我们往往都会使用最新的Python3.x版本进行Python编程,所以必将会导致我们的Mac上面有Python2.x/Python3.x两个版本,这个给我们安装第三方和使用...

摸着石头过河_崖边树
2017/11/15
0
0
Scrapy 入门:Hello Scrapy

scrapy install 官方文档方式 其实现在scrapy 的文档做的挺好, 安装文档在首页就有 点我点我。 下面说说我的另类安装方法,我说这个方法,在某些方面有优势,但不是绝对优势,利弊自己取舍。...

张师傅
2015/12/15
129
0
通过scrapy爬取一号店商品信息

本文为作者原创转载请注明出处(silvasong:http://my.oschina.net/sojie/admin/edit-blog?blog=653199) 前面的文章对scrapy的源码进行简单的分析,这里我将通过一个简单的例子介绍怎样使用s...

SilvaSong
2016/04/05
1K
10

没有更多内容

加载失败,请刷新页面

加载更多

Windows 上安装 Scala

在安装 Scala 之前需要先安装 Java 环境,具体安装的详细方法就不在这里描述了。 您可以自行搜索我们网站中的内容获得其他网站的帮助来获得如何安装 Java 环境的方法。 接下来,我们可以从 ...

honeymose
今天
1
0
数据库篇多表操作

第1章 多表操作 实际开发中,一个项目通常需要很多张表才能完成。例如:一个商城项目就需要分类表(category)、商品表(products)、订单表(orders)等多张表。且这些表的数据之间存在一定的关系...

stars永恒
今天
3
0
nginx日志自动切割

1.日志配置(Nginx 日志) access.log----记录哪些用户,哪些页面以及用户浏览器,IP等访问信息;error.log------记录服务器错误的日志 #配置日志存储路径:location / {      a...

em_aaron
昨天
5
0
java 反射

基本概念 RTTI,即Run-Time Type Identification,运行时类型识别。RTTI能在运行时就能够自动识别每个编译时已知的类型。   要想理解反射的原理,首先要了解什么是类型信息。Java让我们在运...

细节探索者
昨天
2
0
推荐转载连接

https://www.cnblogs.com/ysocean/p/7409779.html#_label0

小橙子的曼曼
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部