文档章节

在Windows上build Spark

wangyugod
 wangyugod
发布于 2014/11/13 17:00
字数 315
阅读 6709
收藏 5

在本机(Windows 8)上安装spark玩一玩,Spark的Quick Start上没有指明具体步骤,自己Build好了之后把步骤记录一下。

  1. 首先,到Spark的官网上下载Spark的压缩包,然后解压缩到本地文件夹。我下的是Spark 1.1.0,目前最新的release,链接spark-1.1.0.tgz

  2. 按照文档上运行bin/spark-shell,会提示找不到所需的jar包,需要重新build生成这个jar包。

  3. 首先确认本机是否已安装Scala和SBT,scala需要2.10.x版本,sbt我用的是0.13,如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下,确保可以运行。

  4. 到Spark的root目录下,运行sbt package,这会将spark所有依赖的lib下载到本地的ivy repository(sbt默认使用ivy repository)

  5. 第四步成功完成之后,spark依赖的库已经具备,运行sbt assembly,这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后,你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包

上述步骤完成之后,就可以在bin下运行spark-shell,可以成功进入shell,进行操作。


© 著作权归作者所有

wangyugod
粉丝 0
博文 4
码字总数 1424
作品 0
成都
架构师
私信 提问
Openfire+Spark源码开发环境搭建

首先第一步,当然是环境搭建了... Openfire官网:http://www.igniterealtime.org/index.jsp 源码下载地址:http://www.igniterealtime.org/downloads/index.jsp Openfire SVN下载地址:http:......

FallenPanda
2014/01/13
2.5K
0
Eclipse如何将Spark IM客户端源码编译成Linux版本客户端

官方源码内spark.install4j里面只有打包windows客户端,ant编译有个选项installer.rpm,编译报错了。报错如下: BUILD FAILED E:\Spark-master\spark_im\code\build\build.xml:985: java.io....

cloud_gty
2018/03/13
241
0
一份顶级互联网公司实践:十万节点下的Spark灰度发布

作者介绍 郭俊,专注于大数据架构,熟悉Kafka和Flume源码,熟悉Hadoop和Spark原理,精通数据(仓)库模型设计和SQL调优。 本文转载自大数据架构订阅号,原文链接:www.jasongj.com/spark/ci_...

郭俊 Jason Guo
03/15
0
0
IDEA导入spark源代码调试

获取源码 官网下载源码到本地后,需要先进行编译,参考官方文档,编译很简单,这里使用4个线程,跳过tests,以此加速编译。这个编译会产生一些必要的源代码,如Catalyst项目下的,所以是必要...

火力全開
2017/10/26
253
0
IntelliJ IDEA Spark源码分析

在对 Spark 有了一定使用经验后,为了能够跟进 Spark 源代码的开发进展,对其源代码进行详细的阅读分析,本文详细说明了如何使用 IntelliJ IDEA 从 Github 上导入最新的 Spark 源代码,并对其...

MoksMo
2015/11/05
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

c++运算符重载

这个运算符重载觉得有点像java的装箱 #ifndef INTERGER_H #define INTERGER_H //学习下运算符的重载 class Interger { public: Interger(); Interger(int value):m_value(value){}......

南桥北木
27分钟前
4
0
微信公众号如何推送文章

公众号推送消息格式,可以推送文本、图文消息、小程序、优惠券、会员卡、图片、视频、语音,不仅仅只能推送文章即图文消息,支持素材永久链接,表情符号等。 通过公众号接口可以开发各种各样...

保持美好
27分钟前
4
0
云桌面经常被吐槽,为什么还有很多人在用

说起云桌面我们会发现一个很奇怪的现象,那就是我们在网上经常能看到有人在吐槽云桌面的,说云桌面的性能差、价格贵和各种的不好用。虽然说网上有很多人都在吐槽云桌面,但是我们会发现使用它...

GZASD
34分钟前
5
0
支付宝20积分兑换15天会员

支付宝20积分兑换30天会员 活动地址:https://openact.ximalaya.com/alipay-vip/#/(或支付宝扫码打开)

xiaogg
38分钟前
6
0
DDoS攻击是怎么打垮游戏企业的?

1.占用服务器的有限资源。比如TCP连接数资源(服务器的连接数是有限制的),有的TCP连接会断开,有的会保持通信;比如一家餐馆,攻击者打比方是地痞流氓总是去排队,但是并不去消费,那么此时正...

云漫网络Ruan
39分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部