文档章节

Windows 下Spark 快速搭建Spark源码阅读环境

我是彩笔
 我是彩笔
发布于 2015/11/19 22:24
字数 529
阅读 908
收藏 12

      最近开始学习Spark,想搭建一个Spark的源码阅读环境。找了一些资料。如 http://m.blog.csdn.net/blog/zhongwen7710/42401445 和 http://guozhongxin.com/pages/2014/10/15/spark_source_code.html, 但是在导入源码后,总会有各种问题。如 很多Jar包下载不下来(国内网络。。我下载2天都没下完),SBT不是那么好用。

      所以我就想有没有其他的办法快速的完成这些工作。其实主要的就是那些Jar包能不能不要每次都下载,于是我尝试了把一个我已经下载完成的Jar包复制到另外一台电脑上,发现就不需要重新下载这些Jar。这样基本上能在30分钟内完成环境的搭建。

  1. 准备

    下载 IDEA 最好 14.X 因为我用的 14.1.15 :) http://www.jetbrains.com/idea/download/  

    Scala 要2.10.4 或 2.10.5

    JDK是必须的 1.7 不推荐 1.8  http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html 

    Spark Source Code 我使用的是1.4.1 http://www.apache.org/dyn/closer.lua/spark/spark-1.4.1/spark-1.4.1.tgz 

    下载 repository.zip  http://pan.baidu.com/s/1kT0GyMF 

  2. 安装 JDK,IDEA 

    JDK的安装就不在此处详细描述了。

    IDEA的安装: 双击 ideaIC-14.1.5.exe 文件安装 IDEA。

    打开IDEA,选择一个你喜欢的主题。

    选择安装的插件 Scala和IdeaVim, IdeaVim会是你编辑文件的时候使用Vim命名,建议不熟悉的不要安装这个插件。


     如果Scala 插件安装不了,或者很慢,因为默认下载的网站是国外的网站。 可以使用这个 

  3. http://pan.baidu.com/s/1woYrO

    下载后放到 IDEA安装目录下 JetBrains\IntelliJ IDEA Community Edition 14.1.5\plugins 然后打开IDEA Plugins   File ->Settings -> Plugins

选择 Install plugin from disk ,选中scala-intellij-bin-1.5.4.zip. ok. 

    3.  Improt Project 

    将下载的repository.zip 解压到 C:\Users\YourUserName\.m2\ 目录下。

    File -> import project 选择Spark Source Code ,然后选择Import project from external model , Maven 

Next, 勾选 Import Maven project automatically

选取你想安装的 profile 

选取JDK

ok.

在Index完成后,可能会提示你model里面没有Scala,选择2.10 版本的就行了。



© 著作权归作者所有

共有 人打赏支持
我是彩笔
粉丝 7
博文 23
码字总数 1936
作品 0
浦东
私信 提问
加载中

评论(1)

我是彩笔
我是彩笔
如果发现什么不对的地方,请通知我谢谢!
Windows + IDEA + SBT 打造Spark源码阅读环境

http://guozhongxin.com/pages/2014/10/15/sparksourcecode.html Spark源码阅读环境的准备 Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上...

chenhao_asd
2018/04/25
0
0
Spark源码分析调试环境搭建

目前常用的Spark版本有三种Cloudera、HDP和Apache,源码的获取方式可以在各自官网下载。本文选择Apache版本。 搭建环境所需要的工具如下: CentOS 7 maven 3.5.0 Java 1.8.0 Scala 2.12.2 I...

火力全開
2017/10/26
0
0
【Spark】Apache 及 CDH Spark 源码编译

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86574327 1、Apache Spark 源码编译 软件版本: JDK:1.7.0_67 Scala:2.10....

魏晓蕾
01/21
0
0
windows 安装 spark 及 pycharm 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

大数据之路
2012/06/28
0
0
Spark成为大数据高手进阶步骤

什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapRedu...

MoksMo
2015/11/05
0
1

没有更多内容

加载失败,请刷新页面

加载更多

记录replugin使用的一个坑

反复编译插件放入宿主中,一直出现如下错误: android.content.res.Resources$NotFoundException: Resource ID #0x7f050000 type #0x5 is not valid 回滚代码,重启AS还是出错。最终发现将宿...

Gemini-Lin
今天
2
0
Vert.x系列(二)--EventBusImpl源码分析

前言:Vert.x 实现了2种完成不同的eventBus: EventBusImpl(A local event bus implementation)和 它的子类 ClusteredEventBus(An event bus implementation that clusters with other Ve......

冷基
今天
2
0
Perl - 获取文件项目

参考:http://www.runoob.com/perl/perl-directories.html 下面返回JSON格式的文件列表 #!/usr/bin/perluse strict;use warnings;use utf8;use feature ':5.26';require Fi......

wffger
昨天
3
0
vue组件系列3、查询下载

直接源码,虽然样式样式不好看,逻辑也不是最优,但是可以留作纪念。毕竟以后类似的功能只需要优化就可以了,不用每次都重头开始。。。 <template> <div class="pre_upload"> <div ...

轻轻的往前走
昨天
3
0
java浅复制和深复制

之前写了数组的复制,所以这里继续总结一下浅复制和深复制。 浅拷贝:对基本数据类型进行值传递,对引用数据类型进行引用传递般的拷贝。 深拷贝:对基本数据类型进行值传递,对引用数据类型,...

woshixin
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部