文档章节

Intellij-idea工具开发spark常见问题解决备案

ericSM
 ericSM
发布于 2016/05/26 15:04
字数 579
阅读 163
收藏 2

IntelliJ IDEA开发Spark1.4.0环境部署

1:IDEA的安装
      官网jetbrains.com下载IntelliJ IDEA,有Community Editions 和& Ultimate Editions,前者免费,用户可以选择合适的版本使用。
根据安装指导安装IDEA后,需要安装scala插件,有两种途径可以安装scala插件:

  • 启动IDEA -> Welcome to IntelliJ IDEA -> Configure -> Plugins -> Install JetBrains plugin... -> 找到scala后安装。

  • 启动IDEA -> Welcome to IntelliJ IDEA -> Open Project -> File -> Settings -> plugins -> Install JetBrains plugin... -> 找到scala后安装。


如果你想使用那种酷酷的黑底界面,在File -> Settings -> Appearance -> Theme选择Darcula,同时需要修改默认字体,不然菜单中的中文字体不能正常显示。

2:建立Spark应用程序
      下面讲述如何建立一个Spark项目week2,该项目包含3个object:

  • 取自spark examples源码中的SparkPi

  • 计词程序WordCount1

  • 计词排序程序WordCount2


A:建立新项目

  • 创建名为dataguru的project:启动IDEA -> Welcome to IntelliJ IDEA -> Create New Project -> Scala -> Non-SBT -> 创建一个名为week2的project(注意这里选择自己安装的JDK和scala编译器) -> Finish。

  • 设置week2的project structure

    • 增加源码目录:File -> Project Structure -> Medules -> week2,给week2创建源代码目录和资源目录,注意用上面的按钮标注新增加的目录的用途。

 

  • 增加开发包:File -> Project Structure -> Libraries -> + -> java ->  选择

    • /app/hadoop/spark100/lib/spark-assembly-1.4.0-hadoop2.6.0.jar

    • /app/scala2104/lib/scala-library.jar可能会提示错误,可以根据fix提示进行处理

    •  

B:编写代码
      在源代码scala目录下创建1个名为week2的package,并增加3个object(SparkPi、WordCoun1、WordCount2):

C:生成程序包
      生成程序包之前要先建立一个artifacts,File -> Project Structure -> Artifacts  -> + -> Jars -> From moudles with dependencies,然后随便选一个class作为主class。

对artifacts进行配置,修改Name为week2,删除Output Layout中week2.jar中的几个依赖包,只剩week2项目本身。

3.Build -> Build Artifacts -> week2 -> rebuild进行打包,经过编译后,程序包放置在out/artifacts/week2目录下,文件名为week2.jar。

设置本地运行,在IDEA的右上角-点开Edit Configurations

技术分享

4.设置本地运行,在Vm options:上填写:-Dspark.master=local ,Program arguments上填写:local

技术分享

5.点击run运行,run前先开启本机的spark

© 著作权归作者所有

上一篇: flume1.6 install
ericSM
粉丝 18
博文 142
码字总数 154379
作品 0
南京
项目经理
私信 提问
加载中

评论(0)

IntelliJ IDEA Spark源码分析

在对 Spark 有了一定使用经验后,为了能够跟进 Spark 源代码的开发进展,对其源代码进行详细的阅读分析,本文详细说明了如何使用 IntelliJ IDEA 从 Github 上导入最新的 Spark 源代码,并对其...

MoksMo
2015/11/05
1.6K
0
IDEA开发Spark应用实战(Scala)

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/87510822 Scala语言在函数式编程方面的优势适合Spark应用开发,IDEA是我们常用的IDE工具,今...

博陵精骑
2019/02/17
0
0
Windows + IDEA + SBT 打造Spark源码阅读环境

http://guozhongxin.com/pages/2014/10/15/sparksourcecode.html Spark源码阅读环境的准备 Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上...

chenhao_asd
2018/04/25
0
0
使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码

准备工作 首先你的系统中需要安装了 JDK 1.6+,并且安装了 Scala。之后下载最新版的 IntelliJ IDEA 后,首先安装(第一次打开会推荐你安装)Scala 插件,相关方法就不多说了。至此,你的系统...

鄂世嘉
2015/01/23
3.3K
3
IDEA导入spark源代码调试

获取源码 官网下载源码到本地后,需要先进行编译,参考官方文档,编译很简单,这里使用4个线程,跳过tests,以此加速编译。这个编译会产生一些必要的源代码,如Catalyst项目下的,所以是必要...

火力全開
2017/10/26
411
0

没有更多内容

加载失败,请刷新页面

加载更多

微服务-(Hystrix应用及原理)

Hystrix 的应用及原理 一.通过配置文件的方式使用hystrix 二.演示断路效果 三.通过图片查询断路流程 四.注解的方式演示hystrix this.metrics = initMetrics(metrics, this.commandGroup, th...

这很耳东先生
3分钟前
17
0
如何将旧Mac的数据迁移到新的MacBook Pro?

最新版的MacBook Pro已经上市,具有超凡魅力的Touch Bar开创了一个新时代。苗条的设计和华丽的显示效果也起到了推动运动的作用……!将数据从旧Mac传输到新Mac不再是一件漫长的事。您只需几个...

mac小叮当
5分钟前
5
0
推荐一款好用的第三方的windows远程管理工具

iis7远程桌面连接工具,又叫做iis7远程桌面管理软件,是一款绿色小巧,功能实用的远程桌面管理工具,其界面简洁,操作便捷,能够同时远程操作多台服务器,并且多台服务器间可以自由切换,适用...

汉美丽
9分钟前
31
0
使用.text()仅检索未嵌套在子标记中的文本

如果我有这样的html: <li id="listItem"> This is some text <span id="firstSpan">First span text</span> <span id="secondSpan">Second span text</span></li> 我正在尝试......

javail
15分钟前
27
0
MySQL调优系列——如何提高MySQL的查询效率

1、对查询进行优化,避免全表扫描,首先应考虑在where及order by涉及的列上建立索引。 2、避免在where子句对字段进行null值判断,否则会导致引擎放弃使用索引而进行全表扫描。 3、应尽量避免...

须臾之余
16分钟前
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部