IntelliJ IDEA搭建spark

原创
2017/04/08 20:18
阅读数 135

环境:

jdk 1.18

scala 2.12.0

ubuntu 16.04

Intellij IDEA 2017.1

spark 2.1.0

步骤:

1、下载Intellij IDEA   http://www.scala-lang.org/download/

 

2、安装intellij IDEA并且下载scala plugin

 

 

遇到问题1:

scala plugin 下载出现错误:connect time out等

直接

 

 

点击下载就进入:

 

 

先下移动滚动条:

 

 

 

离线下载完毕:

 

点击下载的安装包,选择OK

 

最后重启intellij IDEA

 

3.搭建spark

 

选择创建工程

选择scala(IDEA其实就是scala,),如果没有安装sbt就没有sbt这个选项

 

 

 

 

选择Modues,"+"

 

不要使用默认的name,有时会报错

 

右击,选择添加文件夹

命名

 

导入spark的包

方法一:在spark.apache.org官网上下载(1.5版本以后都没jar包)

 

方法二:在自己下载spark环境下,找到jars,添加适合的.jar

 

 

在scala文件下

 

 

选择Object

 

进入的界面为:

 

 

spark环境搭建完毕!!!

如果遇到问题二:

 

 

主要是:

文件夹的都是source类型的,在intellij IDEA在大约2.10.0版本之后,选择三个文件为source类型的,编译都会出错。保留一个source文件夹,个人选择

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部