文档章节

Mac 安装scrapy

s
 showqing
发布于 2016/08/08 21:52
字数 556
阅读 42
收藏 0

1、安装home brew

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2、安装pip

 不要用这个命令安装

sudo python get-pip.py

安装会报错

解决方法:

easy_install pip

3、安装Scrapy

sudo pip install Scrapy

但是会报错

Downloading attrs-16.0.0-py2.py3-none-any.whl

Requirement already satisfied (use --upgrade to upgrade): zope.interface>=3.6.0 in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from Twisted>=10.0.0->Scrapy)

Requirement already satisfied (use --upgrade to upgrade): setuptools in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from zope.interface>=3.6.0->Twisted>=10.0.0->Scrapy)

Installing collected packages: pyasn1, pyasn1-modules, attrs, service-identity, six, w3lib, Twisted, lxml, cssselect, parsel, PyDispatcher, queuelib, Scrapy

  Found existing installation: six 1.4.1

    DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.

    Uninstalling six-1.4.1:

Exception:

Traceback (most recent call last):

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/basecommand.py", line 215, in main

    status = self.run(options, args)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/commands/install.py", line 317, in run

    prefix=options.prefix_path,

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_set.py", line 736, in install

    requirement.uninstall(auto_confirm=True)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_install.py", line 742, in uninstall

    paths_to_remove.remove(auto_confirm)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_uninstall.py", line 115, in remove

    renames(path, new_path)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/utils/__init__.py", line 267, in renames

    shutil.move(old, new)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move

    copy2(src, real_dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2

    copystat(src, dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat

    os.chflags(dst, st.st_flags)

OSError: [Errno 1] Operation not permitted: '/tmp/pip-OPuqW3-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

报错的原因是有的包里已经装了依赖库six 1.4.1

4.解决报错的方法:sudo pip install Scrapy --ignore-installed six

5.然后命令行输入:scrapy,还是不行,会报错:

ImportError: cannot import name xmlrpc_client

解决方法见

http://stackoverflow.com/questions/30964836/scrapy-throws-importerror-cannot-import-name-xmlrpc-client

但是首先的关闭mac的sip(System Integrity Protection 系统完整性保护),关闭步骤如下:

a、重启mac,按住Command +R键知道Apple大大的苹果logo出现,进入Recovery模式

b、点击Utilties->Terminal

c、在Terminal中输入:csrutil disable ,回车

d、重启mac

sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six

为了下次装环境,特意记录了下来。

 

安装完后,重新开启sip,只是输入的命令位:csrutil enable

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
s
粉丝 1
博文 51
码字总数 7278
作品 0
南京
Python环境下Scrapy爬虫框架安装

配置Python环境 首先确认电脑配置好python环境,如果是mac用户,进入终端输入以下指令,如果是windows,进入cmd输入以下指令 如未安装,百度搜索相应教程安装python,2、3版本都可以的,mac...

巧不巧克力
2017/11/06
0
0
mac下python安装和scrapy安装

mac自带python和pip等工具,但是在使用安装scrapy时,报了一些错,因为对操作系统一些核心目录(比如/Library)没有可操作权限,mac有自己的一些权限控制程序(非sudo chmod能改变),所以干...

一杯开心茶
2017/08/14
0
0
Mac环境Python3.x/Python2.x安装第三方库,比如Pillow、Scrapy等

前言 Mac环境下虽然是系统自带Python2.x,但是我们往往都会使用最新的Python3.x版本进行Python编程,所以必将会导致我们的Mac上面有Python2.x/Python3.x两个版本,这个给我们安装第三方和使用...

摸着石头过河_崖边树
2017/11/15
0
0
Scrapy 入门:Hello Scrapy

scrapy install 官方文档方式 其实现在scrapy 的文档做的挺好, 安装文档在首页就有 点我点我。 下面说说我的另类安装方法,我说这个方法,在某些方面有优势,但不是绝对优势,利弊自己取舍。...

张师傅
2015/12/15
129
0
通过scrapy爬取一号店商品信息

本文为作者原创转载请注明出处(silvasong:http://my.oschina.net/sojie/admin/edit-blog?blog=653199) 前面的文章对scrapy的源码进行简单的分析,这里我将通过一个简单的例子介绍怎样使用s...

SilvaSong
2016/04/05
1K
10

没有更多内容

加载失败,请刷新页面

加载更多

计算卷积神经网络浮点数运算量

前言 本文主要是介绍了,给定一个卷积神经网络的配置之后,如何大概估算它的浮点数运算量。 相关代码:CalFlops,基于MXNet框架的 Scala 接口实现的一个计算MXNet网络模型运算量的demo。 正文...

Ldpe2G
今天
1
0
Sql语言与MySql数据库

1. 数据库简介 1. 数据库,就是存储数据的仓库,只能通过sql语言来访问,数据库也是一个文件系统。通常,MySQL、Oracle等数据库,也被称为关系型数据库,其保存的不仅仅只是数据,还包括数据...

江左煤郎
今天
1
0
IDEA 取消自动import .*

打开设置 > Editor > Code Style > Java > Scheme Default > Imports ① 将 Class count to use import with "*" 改为 99 (导入同一个包的类超过这个数值自动变为 * ) ② 将 Names count ......

乔老哥
今天
3
0
PostGIS学习笔记(开篇)

PostGIS事实上算是笔者开始写博客的第一篇内容。而事实上那篇博文的内容并不丰富,笔者对PostGIS的了解仍然不多,然而17年在OSGeo课程学习时对PostGIS又有了进一步了解,并逐步发现它的强大。...

胖胖雕
今天
3
0
【Centos】在nginx服务器中配置php和mysql

接上一章《【Centos】利用Vultr服务器和namesilo布网》(https://my.oschina.net/u/3776619/blog/2051986),在Centos中配置好nginx,并在iptables中开启了80端口,和为了远程mysql操作方便开...

yongh701
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部