文档章节

Mac 安装scrapy

s
 showqing
发布于 2016/08/08 21:52
字数 556
阅读 42
收藏 0

1、安装home brew

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2、安装pip

 不要用这个命令安装

sudo python get-pip.py

安装会报错

解决方法:

easy_install pip

3、安装Scrapy

sudo pip install Scrapy

但是会报错

Downloading attrs-16.0.0-py2.py3-none-any.whl

Requirement already satisfied (use --upgrade to upgrade): zope.interface>=3.6.0 in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from Twisted>=10.0.0->Scrapy)

Requirement already satisfied (use --upgrade to upgrade): setuptools in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from zope.interface>=3.6.0->Twisted>=10.0.0->Scrapy)

Installing collected packages: pyasn1, pyasn1-modules, attrs, service-identity, six, w3lib, Twisted, lxml, cssselect, parsel, PyDispatcher, queuelib, Scrapy

  Found existing installation: six 1.4.1

    DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.

    Uninstalling six-1.4.1:

Exception:

Traceback (most recent call last):

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/basecommand.py", line 215, in main

    status = self.run(options, args)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/commands/install.py", line 317, in run

    prefix=options.prefix_path,

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_set.py", line 736, in install

    requirement.uninstall(auto_confirm=True)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_install.py", line 742, in uninstall

    paths_to_remove.remove(auto_confirm)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_uninstall.py", line 115, in remove

    renames(path, new_path)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/utils/__init__.py", line 267, in renames

    shutil.move(old, new)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move

    copy2(src, real_dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2

    copystat(src, dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat

    os.chflags(dst, st.st_flags)

OSError: [Errno 1] Operation not permitted: '/tmp/pip-OPuqW3-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

报错的原因是有的包里已经装了依赖库six 1.4.1

4.解决报错的方法:sudo pip install Scrapy --ignore-installed six

5.然后命令行输入:scrapy,还是不行,会报错:

ImportError: cannot import name xmlrpc_client

解决方法见

http://stackoverflow.com/questions/30964836/scrapy-throws-importerror-cannot-import-name-xmlrpc-client

但是首先的关闭mac的sip(System Integrity Protection 系统完整性保护),关闭步骤如下:

a、重启mac,按住Command +R键知道Apple大大的苹果logo出现,进入Recovery模式

b、点击Utilties->Terminal

c、在Terminal中输入:csrutil disable ,回车

d、重启mac

sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six

为了下次装环境,特意记录了下来。

 

安装完后,重新开启sip,只是输入的命令位:csrutil enable

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
s
粉丝 2
博文 51
码字总数 7278
作品 0
南京
私信 提问
Python环境下Scrapy爬虫框架安装

配置Python环境 首先确认电脑配置好python环境,如果是mac用户,进入终端输入以下指令,如果是windows,进入cmd输入以下指令 如未安装,百度搜索相应教程安装python,2、3版本都可以的,mac...

巧不巧克力
2017/11/06
0
0
mac下python安装和scrapy安装

mac自带python和pip等工具,但是在使用安装scrapy时,报了一些错,因为对操作系统一些核心目录(比如/Library)没有可操作权限,mac有自己的一些权限控制程序(非sudo chmod能改变),所以干...

一杯开心茶
2017/08/14
0
0
Mac环境Python3.x/Python2.x安装第三方库,比如Pillow、Scrapy等

前言 Mac环境下虽然是系统自带Python2.x,但是我们往往都会使用最新的Python3.x版本进行Python编程,所以必将会导致我们的Mac上面有Python2.x/Python3.x两个版本,这个给我们安装第三方和使用...

摸着石头过河_崖边树
2017/11/15
0
0
Scrapy 入门:Hello Scrapy

scrapy install 官方文档方式 其实现在scrapy 的文档做的挺好, 安装文档在首页就有 点我点我。 下面说说我的另类安装方法,我说这个方法,在某些方面有优势,但不是绝对优势,利弊自己取舍。...

张师傅
2015/12/15
129
0
通过scrapy爬取一号店商品信息

本文为作者原创转载请注明出处(silvasong:http://my.oschina.net/sojie/admin/edit-blog?blog=653199) 前面的文章对scrapy的源码进行简单的分析,这里我将通过一个简单的例子介绍怎样使用s...

SilvaSong
2016/04/05
1K
10

没有更多内容

加载失败,请刷新页面

加载更多

React和Redux的连接react-redux

通过Redux文档来了解react-redux,在一段时间的实践后准备翻一翻源代码,顺便做些相关的总结。我看的代码的npm版本为v4.0.0,也就是说使用的React版本是0.14.x。 react-redux提供两个关键模块...

前端攻城老湿
32分钟前
1
0
1、Mybatis连接池配置 和 Context.xml的配置

注意: (1)mybatis 3.2 之前 通过 set get 方法 获取相关属性。之后通过属性姓名获取相关关联。 (2)mybatis 映射 优先为 sql 语句中的别名与实体类的属性进行映射。 (3)jndi Java用于调...

KingFightingAn
48分钟前
1
0
Android 界面漩涡扭曲动效实现

背景:之前偶然看到优酷有类似的页面切换动画效果。于是自己也打算来实现下这样的效果。 动效说明:点击界面中的任意位置,界面以点击位置作为中心点,开始以漩涡状态,扭曲,收缩。直到消失...

Carlyle_Lee
59分钟前
2
0
聊聊我怎么系统学习Linux技能并快速提高的

聊聊我怎么系统学习Linux技能并快速提高的 随着电子信息科技时代的发展,学会使用计算机在我们的生活中成为了必不可少的一项技能。而作为计算机中的三大操作系统之一的Linux更是饱受计算机爱...

linuxCool
今天
4
0
Android/Java 获取一个byte[]的真实编码,用于解决乱码问题

来源地址:https://blog.csdn.net/qq_31384551/article/details/81627840 一个byte数组,byte[] buf,是由一个字符串转换来的,如何判断字符串使用的是什么编码? Mozilla的一个组件提供了相应...

她叫我小渝
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部