文档章节

IntelliJ IDEA搭建spark

A
 AuroraTan
发布于 2017/04/08 20:18
字数 282
阅读 76
收藏 0

环境:

jdk 1.18

scala 2.12.0

ubuntu 16.04

Intellij IDEA 2017.1

spark 2.1.0

步骤:

1、下载Intellij IDEA   http://www.scala-lang.org/download/

 

2、安装intellij IDEA并且下载scala plugin

 

 

遇到问题1:

scala plugin 下载出现错误:connect time out等

直接

 

 

点击下载就进入:

 

 

先下移动滚动条:

 

 

 

离线下载完毕:

 

点击下载的安装包,选择OK

 

最后重启intellij IDEA

 

3.搭建spark

 

选择创建工程

选择scala(IDEA其实就是scala,),如果没有安装sbt就没有sbt这个选项

 

 

 

 

选择Modues,"+"

 

不要使用默认的name,有时会报错

 

右击,选择添加文件夹

命名

 

导入spark的包

方法一:在spark.apache.org官网上下载(1.5版本以后都没jar包)

 

方法二:在自己下载spark环境下,找到jars,添加适合的.jar

 

 

在scala文件下

 

 

选择Object

 

进入的界面为:

 

 

spark环境搭建完毕!!!

如果遇到问题二:

 

 

主要是:

文件夹的都是source类型的,在intellij IDEA在大约2.10.0版本之后,选择三个文件为source类型的,编译都会出错。保留一个source文件夹,个人选择

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

© 著作权归作者所有

A
粉丝 0
博文 4
码字总数 1041
作品 0
珠海
程序员
私信 提问
Windows 下Spark 快速搭建Spark源码阅读环境

最近开始学习Spark,想搭建一个Spark的源码阅读环境。找了一些资料。如 http://m.blog.csdn.net/blog/zhongwen7710/42401445 和 http://guozhongxin.com/pages/2014/10/15/sparksourcecode....

我是彩笔
2015/11/19
936
1
IntelliJ IDEA Spark源码分析

在对 Spark 有了一定使用经验后,为了能够跟进 Spark 源代码的开发进展,对其源代码进行详细的阅读分析,本文详细说明了如何使用 IntelliJ IDEA 从 Github 上导入最新的 Spark 源代码,并对其...

MoksMo
2015/11/05
1K
0
IDEA开发Spark应用实战(Scala)

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/87510822 Scala语言在函数式编程方面的优势适合Spark应用开发,IDEA是我们常用的IDE工具,今...

博陵精骑
02/17
0
0
Windows + IDEA + SBT 打造Spark源码阅读环境

http://guozhongxin.com/pages/2014/10/15/sparksourcecode.html Spark源码阅读环境的准备 Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上...

chenhao_asd
2018/04/25
0
0
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码

准备工作 首先你的系统中需要安装了 JDK 1.6+,并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后,首先安装(第一次打开会推荐你安装)Scala 插件,相关方法就不多说了。至此,你的系统...

鄂世嘉
2015/01/23
3.3K
3

没有更多内容

加载失败,请刷新页面

加载更多

刚哥谈架构 (二) 我眼中的架构师

之前在公司,有小伙伴在向别人介绍我的时候,经常会有人这么说:“刚哥是我们的architcture”,如果来人是老外,心中一定是一惊,心中暗叹,“这位匪首看上去貌不惊人,难道已经做到了架构和...

naughty
29分钟前
2
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
57分钟前
82
3
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
5
0
Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部