Mac安装spark

原创
2017/03/05 16:33
阅读数 88

下载hadoop brew install hadoop

下载spark http://spark.apache.org/downloads.html 这里使用2.1.0版本 下载选项

sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/
cd /usr/local
sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark
sudo chown -R hadoop:hadoop ./spark 

编辑 ./conf/spark-env.sh 加入export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

测试

cd /usr/local/spark
./bin/run-example SparkPi > tmp

会报错 org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] nullCaused by: java.lang.IllegalArgumentException: org.xerial.snappy.SnappyError

这个问题是使用的snappy的bug, 替换版本即可,自带的snappy版本是1.0.4.1 cp snappy-java-1.0.5.jar /usr/local/Cellar/hadoop/2.7.2/libexec/share/hadoop/common/lib/ 1.0.5下载地址: http://central.maven.org/maven2/org/xerial/snappy/snappy-java/1.0.5/snappy-java-1.0.5.jar

运行正常的结果是 tmp里面有这样的内容: Pi is roughly 3.14344

附录

  • Source code: Spark 源码,需要编译才能使用,另外 Scala 2.11 需要使用源码编译才可使用
  • Pre-build with user-provided Hadoop: “Hadoop free” 版,可应用到任意 Hadoop 版本
  • Pre-build for Hadoop 2.6 and later: 基于 Hadoop 2.6 的预先编译版,需要与本机安装的 Hadoop 版本对应。可选的还有 Hadoop 2.4 and later、Hadoop 2.3、Hadoop 1.x,以及 CDH 4。
展开阅读全文
打赏
0
0 收藏
分享

作者的其它热门文章

加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部