Spark的源码编译

2015/12/17 10:08
阅读数 434

Spark的版本下载和源码编译方法的官方地址:http://spark.apache.org/downloads.html

直接进Github,复制源码:https://github.com/apache/spark


Spark 编译

  有三种方式:SBT、MAVEN、make-distribution.sh。 SBT、MAVEN两种方式打出来的包比较大,不适合部署使用。因此我们通常使用第三种方式打包。

官方已经提供安装包了,为什么要自己编译?

  Spark能同Hadoop进行交互,而Hadoop的厂商比较多有很多商业版。Spark官方提供的安装包不一定和我们的Hadoop集群版本相同,如果不相同就有可能出现莫名其妙的错误。这时,我们手工指定相应版本进行编译是最好选择。

SBT编译

sbt/sbt clean assembly

MAVEN编译

  由于MAVEN工具默认的内存比较小,需要先调大其占用的内存上限:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

  打包

mvn clean assembly:assembly

make-distribution.sh构建安装包

  该脚本会使用MAVEN进行编译,然后打成一个tgz包。

  脚本的使用方法:

./make-distribution.sh --help

  打包:

./make-distribution.sh --tgz --with-tachyon

Hadoop版本对应的MAVEN Profile

Hadoop version Profile required
0.23.x hadoop-0.23
1.x to 2.1.x (none)
2.2.x hadoop-2.2
2.3.x hadoop-2.3
2.4.x hadoop-2.4

Yarn版本对应的MAVEN Profile

YARN version Profile required
0.23.x to 2.1.x yarn-alpha
2.2.x and later yarn

Hive对应的MAVEN Profile

在构造脚本后面添加 -Phive便可

自定义Hadoop版本

  如果要构建hortonworks Hadoop 2.4.0.2.1.4.0-632,所对应的Hadoop版本是2.4.x。因此,相应的Profile为-Phadoop-2.4 -Pyarn。

编译方式:

SBT

sbt clean assembly -Phive -Phadoop-2.4 -Pyarn -Dhadoop.version=2.4.0.2.1.4.0-632

Maven

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn clean assembly:assembly

make-distribution.sh

1.1.x 使用

./make-distribution.sh --tgz --with-tachyon -Phadoop-2.4 -Pyarn -Phive -Dhadoop.version=2.4.0.2.1.4.0-632```

  对于1.1.x以前的版本使用:

./make-distribution.sh --hadoop 2.4.0.2.1.4.0-632 --with-yarn --with-tachyon --tgz

如果yarn的版本和Hadoop的版本不一致可添加

-Dyarn.version=2.4.0.2.1.4.0-632

                                       


展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部