文档章节

Spark API编程动手实战-08-基于IDEA使用Spark API开发Spark程序-01

stark_summer
 stark_summer
发布于 2015/02/10 13:10
字数 201
阅读 92
收藏 2

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

创建一个Scala IDEA工程:


点击“Next”:


点击“Finish”完成工程的创建:


修改项目的属性:



首先修改Modules选项:



在src下创建两个文件夹,并把其属性改为source:


再修改Libraries:


因为要开发Spark程序,所以需要把Spark的开发需要的jar包导进来:



导入包完成后,在工程的scala下面创建一个package:



创建一个Object对象:


完成初始类的创建:



首先构建Spark Driver的模板代码:


该程序是对前面的搜狗日志的处理代码,只不过这个时候在IDEA中编写而已。

© 著作权归作者所有

stark_summer
粉丝 61
博文 75
码字总数 51050
作品 0
朝阳
CEO
私信 提问
加载中

评论(0)

Hadoop之HDFS文件操作

如何终止spark集群 stop-all.sh Hadoop之HDFS文件操作 hadoop fs -cat /user/hadoop/output #查看文件内容 http://blog.csdn.net/flyfish111222/article/details/51995523 可参考 HDFS Web界......

qq_28088259
03/31
0
0
大数据学习路线教程图,如何快速入门Spark

随着互联网的发展,大数据已经成为了新一代的“网红”,各行各业几乎都和大数据产生着关系。Spark是大数据中重要的框架之一,下面为大家分享如何快速入门spark。 Apache Spark是在大数据工业...

wb5d4a862f23b59
2019/12/19
0
0
Spark快速入门(72集视频+源码+笔记)

Spark快速入门(72集视频+源码+笔记) 1、什么是Spark? Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源...

好程序员
2019/11/23
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(13)

从控制台可以看到我们的程序成功在集群上运行: Detail for stage 1: Detail for Stage 0: 查看一下Executors的信息: 上述信息表明程序成功在Spark集群上运行。 第四步:基于IDEA构建Spark...

Spark亚太研究院
2014/11/20
295
0
Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈与熟练的掌握Scala语言【大数据Spark

Spark GraphX宝刀出鞘,图文并茂研习图计算秘笈 大数据的概念与应用,正随着智能手机、平板电脑的快速流行而日渐普及,大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地...

Spark亚太研究院
2014/08/29
1.7K
0

没有更多内容

加载失败,请刷新页面

加载更多

如何用数据结构解释计算机系统 常用数据结构

详细:https://www.cnblogs.com/morui/p/10726864.html 数据结构(计算机存储、组织数据方式) 数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元...

osc_rnx2cje5
53分钟前
23
0
黑客你咋这么牛掰,不屑用鼠标?

如需快速跳转,请戳以下蓝色字条 01 前情提要 02 有苦说得出 1、黑客开发绝大多数工具是没有图形化界面的 2、命令行更有助于批量操作 3、图形化界面消耗系统资源量大,增加计算机性能负担 4、...

osc_m6gaz63w
55分钟前
24
0
计算机网络TCP/IP模型复习笔记(随时补充)

看到一篇大佬的博客,刚好前段时间也有简单了解了一点计算机网络的TCP/IP,就顺便总结一下。 大佬文章链接: https://blog.csdn.net/ThinkWon/article/details/104903925 计算机网络的自己理...

osc_boqyoaed
56分钟前
17
0
IDEA使用技巧-->查看类的继承关系图

IDEA使用技巧-->查看类的继承关系图 简单实用(很实用) 转自 ☞https://www.cnblogs.com/deng-cc/p/6927447.html 最近忙,有用的直接拿来给大家分享,但凡分享的都是我亲测有效的!...

宇宝
57分钟前
21
0
浏览器同源政策及其规避方法

自己以思维导图的形式梳理了一遍 浏览器同源政策及其规避方法

酒窝yun过去了
58分钟前
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部