文档章节

Mac 安装scrapy

s
 showqing
发布于 2016/08/08 21:52
字数 556
阅读 42
收藏 0
点赞 0
评论 0

1、安装home brew

ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

2、安装pip

 不要用这个命令安装

sudo python get-pip.py

安装会报错

解决方法:

easy_install pip

3、安装Scrapy

sudo pip install Scrapy

但是会报错

Downloading attrs-16.0.0-py2.py3-none-any.whl

Requirement already satisfied (use --upgrade to upgrade): zope.interface>=3.6.0 in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from Twisted>=10.0.0->Scrapy)

Requirement already satisfied (use --upgrade to upgrade): setuptools in /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python (from zope.interface>=3.6.0->Twisted>=10.0.0->Scrapy)

Installing collected packages: pyasn1, pyasn1-modules, attrs, service-identity, six, w3lib, Twisted, lxml, cssselect, parsel, PyDispatcher, queuelib, Scrapy

  Found existing installation: six 1.4.1

    DEPRECATION: Uninstalling a distutils installed project (six) has been deprecated and will be removed in a future version. This is due to the fact that uninstalling a distutils project will only partially uninstall the project.

    Uninstalling six-1.4.1:

Exception:

Traceback (most recent call last):

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/basecommand.py", line 215, in main

    status = self.run(options, args)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/commands/install.py", line 317, in run

    prefix=options.prefix_path,

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_set.py", line 736, in install

    requirement.uninstall(auto_confirm=True)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_install.py", line 742, in uninstall

    paths_to_remove.remove(auto_confirm)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/req/req_uninstall.py", line 115, in remove

    renames(path, new_path)

  File "/Library/Python/2.7/site-packages/pip-8.1.2-py2.7.egg/pip/utils/__init__.py", line 267, in renames

    shutil.move(old, new)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 302, in move

    copy2(src, real_dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 131, in copy2

    copystat(src, dst)

  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/shutil.py", line 103, in copystat

    os.chflags(dst, st.st_flags)

OSError: [Errno 1] Operation not permitted: '/tmp/pip-OPuqW3-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

报错的原因是有的包里已经装了依赖库six 1.4.1

4.解决报错的方法:sudo pip install Scrapy --ignore-installed six

5.然后命令行输入:scrapy,还是不行,会报错:

ImportError: cannot import name xmlrpc_client

解决方法见

http://stackoverflow.com/questions/30964836/scrapy-throws-importerror-cannot-import-name-xmlrpc-client

但是首先的关闭mac的sip(System Integrity Protection 系统完整性保护),关闭步骤如下:

a、重启mac,按住Command +R键知道Apple大大的苹果logo出现,进入Recovery模式

b、点击Utilties->Terminal

c、在Terminal中输入:csrutil disable ,回车

d、重启mac

sudo rm -rf /Library/Python/2.7/site-packages/six*
sudo rm -rf /System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six*
sudo pip install six

为了下次装环境,特意记录了下来。

 

安装完后,重新开启sip,只是输入的命令位:csrutil enable

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
s
粉丝 1
博文 39
码字总数 7278
作品 0
南京
Python环境下Scrapy爬虫框架安装

配置Python环境 首先确认电脑配置好python环境,如果是mac用户,进入终端输入以下指令,如果是windows,进入cmd输入以下指令 如未安装,百度搜索相应教程安装python,2、3版本都可以的,mac...

巧不巧克力 ⋅ 2017/11/06 ⋅ 0

mac下python安装和scrapy安装

mac自带python和pip等工具,但是在使用安装scrapy时,报了一些错,因为对操作系统一些核心目录(比如/Library)没有可操作权限,mac有自己的一些权限控制程序(非sudo chmod能改变),所以干...

一杯开心茶 ⋅ 2017/08/14 ⋅ 0

Mac环境Python3.x/Python2.x安装第三方库,比如Pillow、Scrapy等

前言 Mac环境下虽然是系统自带Python2.x,但是我们往往都会使用最新的Python3.x版本进行Python编程,所以必将会导致我们的Mac上面有Python2.x/Python3.x两个版本,这个给我们安装第三方和使用...

摸着石头过河_崖边树 ⋅ 2017/11/15 ⋅ 0

Scrapy 入门:Hello Scrapy

scrapy install 官方文档方式 其实现在scrapy 的文档做的挺好, 安装文档在首页就有 点我点我。 下面说说我的另类安装方法,我说这个方法,在某些方面有优势,但不是绝对优势,利弊自己取舍。...

张师傅 ⋅ 2015/12/15 ⋅ 0

通过scrapy爬取一号店商品信息

本文为作者原创转载请注明出处(silvasong:http://my.oschina.net/sojie/admin/edit-blog?blog=653199) 前面的文章对scrapy的源码进行简单的分析,这里我将通过一个简单的例子介绍怎样使用s...

SilvaSong ⋅ 2016/04/05 ⋅ 10

学会运用爬虫框架 Scrapy (五) —— 部署爬虫

图片来自 unsplash 本文是 Scrapy 爬虫系列的最后一篇文章。主要讲述如何将我们编写的爬虫程序部署到生产环境中。我们使用由 scrapy 官方提供的爬虫管理工具 scrapyd 来部署爬虫程序。 1 为什...

猴哥Yuri ⋅ 2017/10/09 ⋅ 0

使用Scrapy构建一个网络爬虫

记得n年前项目需要一个灵活的爬虫工具,就组织了一个小团队用Java实现了一个爬虫框架,可以根据目标网站的结构、地址和需要的内容,做简单的配置开发,即可实现特定网站的爬虫功能。因为要考...

铁扇公主1 ⋅ 2017/05/04 ⋅ 0

python 3.5 + scrapy1.2 windows下的安装

安装Python 安装python3.5 3.5.2版本:https://www.python.org/ftp/python/3.5.2/python-3.5.2rc1-amd64.exe 其他版本:https://www.python.org/downloads/windows/ 添加Python环境变量。 两......

wangyue_1 ⋅ 2016/11/08 ⋅ 0

有趣的命令行工具-一行命令搜索、下载图片并设置成壁纸

好用的壁纸管理工具 好看的桌面壁纸对于我们的重要性不言而喻,但是想想平时你是如何设置壁纸的? 从壁纸网站上选择好看的壁纸 下载到本地 设置成桌面壁纸 整个过程可以说是比较麻烦了,特别...

宿小羽 ⋅ 2017/12/28 ⋅ 0

RHEL 5下安装Scrapy-0.14.0.2841爬虫框架

Scrapy是一款非常成熟的爬虫框架,可以抓取网页数据并抽取结构化数据,目前已经有很多企业用于生产环境。对于它的更多介绍,可以查阅相关资料(官方网站:www.scrapy.org)。 我们根据官网提...

durban ⋅ 2012/04/30 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

解决yum安装报错Protected multilib versions

使用yum安装报错Protected multilib versions原因是因为多个库不能共存,不过更新的话也并不行,但是可以在安装命令后面加上如下一段命令: --setopt=protected_multilib=false 案例: 比如需...

北岩 ⋅ 32分钟前 ⋅ 0

为什么要学习Typescript???

简单来说 目前的typescript就是未来的javascript 为什么?? 这要从ECMA-262标准的第4版说起 对了 我们说的ES5 其实是ECMAScript3.1这个替代性建议被扶正了而已... 那么 第4版标准是什么? 看看...

hang1989 ⋅ 36分钟前 ⋅ 0

linux安装ipfs

一、下载ipfs # cd /usr/local/ipfs/ # wget https://dist.ipfs.io/go-ipfs/v0.4.15/go-ipfs_v0.4.15_linux-amd64.tar.gz # tar -zxvf go-ipfs_v0.4.15_linux-amd64.tar.gz 二、安装ipfs # ......

八戒八戒八戒 ⋅ 42分钟前 ⋅ 0

jvm程序执行慢诊断手册

生产环境最多的几种事故之一就是程序执行慢,如果是web服务的话,表现就是响应时间长。本文分享,从业多年形成的排查守则。 诊断步骤 系统资源查看 首先是系统资源查看,而且必须是在第一步。...

xpbob ⋅ 43分钟前 ⋅ 0

YII2 advanced 高级版本项目搭建-添加API应用以及多应用

一、YII安裝 安裝yii可以用composer安裝,也可以在yii中文社区下载归档文件安装 composer安装就不介绍了,因为要安装composer,比较麻烦,当然安装了composer是最好的,以后安装yii的插件要用...

botkenni ⋅ 43分钟前 ⋅ 0

在jdk1.8的环境下模拟永久代内存溢出

相信不少小伙伴在看深入理解Java虚拟机的时候,作者给我们举例一个demo来发生PermGen space 1、通过List不断添加String.intern(); 2、通过设置对应的-XX:PermSize与-XX:MaxPermSize(更快看到...

虾几把写 ⋅ 今天 ⋅ 0

开发OpenDaylight组件的完整流程

在前面介绍学习了OpenDaylight的几个重要模块后,这里再来介绍下完整开发一个模块的过程。 OSGI的bundles提供被其他OSGI组件调用的服务。这个教程中展示的是Data Packet Service去解析数据包...

wangxuwei ⋅ 今天 ⋅ 0

Java序列化和反序列化

1、什么是序列化和反序列化 序列化:把对象转换为字节序列的过程。 反序列化:把字节序列恢复成对象的过程。 2、被序列化的类需要实现serializable接口,只是为了标注该对象是可以被序列化的...

IT-Mamba ⋅ 今天 ⋅ 0

流式构建原理

流式构建需要达到分钟级的数据更新频率,Kylin采用类似于Spark Streaming的做法,每隔数分钟进行一次微构建。这边的构建需要考虑到一个延迟因素,分布式网络存在延迟等因素,该时间段的数据有...

无精疯 ⋅ 今天 ⋅ 0

在maven项目工程编写solr代码,需要的依赖

solrJ <dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId> <version>6.6.2</version> </dependency> <dependency> <groupId>org.apache.httpcomponents<......

爱运动的小乌龟 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部