文档章节

Mac安装spark

D
 DecKen
发布于 2017/03/05 16:33
字数 252
阅读 18
收藏 0

下载hadoop brew install hadoop

下载spark http://spark.apache.org/downloads.html 这里使用2.1.0版本 下载选项

sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark 

编辑 ./conf/spark-env.sh 加入export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

测试

cd /usr/local/spark
./bin/run-example SparkPi > tmp

会报错 org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] nullCaused by: java.lang.IllegalArgumentException: org.xerial.snappy.SnappyError

这个问题是使用的snappy的bug, 替换版本即可,自带的snappy版本是1.0.4.1 cp snappy-java-1.0.5.jar /usr/local/Cellar/hadoop/2.7.2/libexec/share/hadoop/common/lib/ 1.0.5下载地址: http://central.maven.org/maven2/org/xerial/snappy/snappy-java/1.0.5/snappy-java-1.0.5.jar

运行正常的结果是 tmp里面有这样的内容: Pi is roughly 3.14344

附录

  • Source code: Spark 源码,需要编译才能使用,另外 Scala 2.11 需要使用源码编译才可使用
  • Pre-build with user-provided Hadoop: “Hadoop free” 版,可应用到任意 Hadoop 版本
  • Pre-build for Hadoop 2.6 and later: 基于 Hadoop 2.6 的预先编译版,需要与本机安装的 Hadoop 版本对应。可选的还有 Hadoop 2.4 and later、Hadoop 2.3、Hadoop 1.x,以及 CDH 4。

© 著作权归作者所有

上一篇: sbt笔记
下一篇: sbt笔记
D
粉丝 0
博文 2
码字总数 266
作品 0
杭州
私信 提问
Spark IM 2.7.1 发布,IM 客户端

Spark 2.7.1 发布,现已提供在 Ignite Realtime: Downloads (注意:当前构建环境没有 Mac 的设置,不提供 Mac OS 安装器,而且现在 Spark 在 Mac OS 平台还是存在很多问题)。 更新日志 (off...

oschina
2015/06/13
3.8K
8
Spark IM 2.7.2 发布,IM 客户端

Spark IM 2.7.2 发布,此版本现已提供下载 (注意,当前构建环境不支持 Mac OS X 安装器)。此版本主要是一些修复和小的新特性: Bug 修复 [SPARK-1458] - Spark prepends the default status...

oschina
2015/09/01
2.3K
1
mac上面配置anaconda3+pyspark+jupyter_notebook

今天花了一些时间来整理mac osx系统下用anaconda环境配置pyspark+jupyter notebook启动的整个过程。 背景介绍: 我原本用的是anaconda 2.7版本,创建了python3的环境变量,安装了python3,虽...

九日照林
2018/07/27
0
0
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码

准备工作 首先你的系统中需要安装了 JDK 1.6+,并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后,首先安装(第一次打开会推荐你安装)Scala 插件,相关方法就不多说了。至此,你的系统...

鄂世嘉
2015/01/23
3.2K
3
地铁译:Spark for python developers --- 搭建Spark虚拟环境 4

Spark 同时可以建立在虚拟化的基础上,例如Vagrant 和Docker, 这样的虚拟化环境很容易部署到各种云服务上,例如AWS。 Vagrant的虚拟化环境 为了创建Python和Spark 环境,便于分享和复制, 整...

abel_cao
01/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
39分钟前
84
5
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
2
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部