文档章节

Eclipse+maven+scala+spark环境搭建

阿桂的博客
 阿桂的博客
发布于 2017/07/18 13:47
字数 623
阅读 149
收藏 1

最好是用高版本的Eclipse,版本太低的话不支持Scala-IDE

1.安装Scala-IDE

在Eclipse中开发Scala程序需要有scala插件,我们现在安装scala插件

下面是安装过程截图

Scala IDE用于提供scala语言的开发环境。直接在Marketplace下载安装,安装后如下图所示

 

\

2.安装m2e-scala插件

m2e-scala用来支持scala开发中对maven的一些定制功能。通过eclipse的Install New Software安装。

安装过程

1.Help->Install New Software

\

 

2.输入m2e-scala下载的url

这一步我是跳过的,之前每次进行完这一步,我的Eclipse的maven插件反而找不到了,这个Eclipse自带的是

m2e-eclipse插件,每次一安装m2e-scala插件后就找不到maven了,索性我就没进行这一步,用Eclipse自带的 m2e-eclipse.

如下图

\

 

url为:http://alchim31.free.fr/m2e-scala/update-site/

这里可以仅勾选第三项(图中红框所示)

\

 

3.安装完成后,可在Help->Installation Details中查看

 

\

 

3.新建Eclipse+scala+maven工程

新建maven工程

 

\

 

此时的maven的Archetype需要设置为 org.scala-tools.archetypes

如果没有安装Scala-IDE的话,会找不到org.scala-tools.archetypes这个类别

然后Finish

 

\

 

此时创建的工程还不是scala的工程,在项目名称上点击右键

 

\

 

点击 Add Scala Nature后项目才转换为scala-maven项目

然后pom.xml报下图中的错误,解决办法

在 plugins 的外层加标签

\

 

解决方法:

\

 

此时又报错

 

\

 

意思是我有多个scala-library库的构建路径

一个是scala-IDE插件带的,一个是maven库中的

并且maven中自动设置的是scala版本是2.7.0的

 

\

 

解决方法:

把pox.xml中的scala-version改成和scala-IDE的版本一样

这时候还是提示有多个scala-library的构建路径,但是不报错了

 

\

 

我们用一个构建路径,把其余的一个去掉

这里我把pom.xml中的scala-library 注释掉,只用scala-IDE的库

\

 

最后把自带的‘App.scala中的代码删除

这样maven+scala的项目就成功搭建了。

4. Eclipse+maven+scala+spark

在pom.xml中加入spark的依赖

我的spark的版本是

\

 

这个版本的依赖

 

 

org.apache.spark

spark-core_2.11

1.2.1

 

 

我刚开始用的是 spark-core_2.10 ,结果报错,后来换成spark-core_2.11才合适,2.11是对应的scala版本

然后一阵狂下在spark的依赖,最后是这个样子滴

 

\

 

终于把scala+maven+spark的环境搭建成功了,之前被maven那一步折腾的快疯了

© 著作权归作者所有

阿桂的博客

阿桂的博客

粉丝 11
博文 63
码字总数 34826
作品 0
浦东
高级程序员
私信 提问
为什么用Docker,Docker究竟有什么用呢

近年来,Docker越来越火爆,一大堆新概念,轻量级虚拟机,集装箱等概念,眼光缭乱。 慢慢也尝试用vagrant+docker搭建开发环境 和 服务器也用docker搭建测试环境,再逐步正式环境也用上docke...

小和
2016/11/03
302
2
【转帖】测试环境的搭建和维护

只要做过一次测试,就一定知道测试环境,但测试环境是如何搭建和维护的呢?就不一定所有人都明白了。 测试环境的搭建,每个公司都有不一样的流程和方法。一种是运维或者开发负责搭建和维护,...

12332111ss
2016/04/28
455
0
centos7下stf安装介绍

介绍 stf 全称 Smartphone Test Farm ,一款WEB 端移动设备批量管理工具(Remote control all your Smartphone devices),目前仅支持android设备,仅支持在mac和linux上搭建,暂时没在论坛、...

迈阿密小白
2017/12/17
0
0
Selenium系列----->Selenium 脚本编写环境的搭建

脚本开发环境的搭建-JUnit *手把手SELENIUMJAVA搭建总结汇总篇:http://wenku.baidu.com/link?url=9dt8PTJiBNqt17CjjwPWk-QCUP2w6fMDjCBrCO6e-hXCBQCXwnmyzFK9ODgsPqvkgv1PtN8sQpF4pl-og33......

智能小松鼠
2015/02/17
576
0
04-17

04-16 Done 增加K空间、重建像切换功能; (4h,100%) 程序打包; (1h,100%) 升级win10、更换固态硬盘 (1h,100%) 搭建Qt运行环境 (2h,50%) 04-17 TO-DO List 搭建Qt运行环境; 搭建Python运行...

体全息
2018/04/17
1
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周四乱弹 —— 当你简历注水但还是找到了工作

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享成龙的单曲《男儿当自强》。 《男儿当自强》- 成龙 手机党少年们想听歌,请使劲儿戳(这里) @hxg2016 :刚在...

小小编辑
今天
2.7K
22
靠写代码赚钱的一些门路

作者 @mezod 译者 @josephchang10 如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。 今天给大家分享一个精彩的 GitHub 库,这个库整理...

高级农民工
昨天
4
0
用好项目管理工具,人人都可以成为项目经理

现在市面上的项目管理工具越来越多了,但是大多数都是一些协同工具或轻量项目管理工具。如果是多团队、跨部门使用或者企业级的项目管理,从管理思想到工具运用,需要适应企业的业务流程体系,...

cs平台
昨天
12
0
只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
69
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
32
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部