文档章节

Spark本地开发环境搭建

翟志军
 翟志军
发布于 2016/01/25 13:17
字数 404
阅读 7.3K
收藏 128

本文使用Scala2.10.6,sbt。请自行提前装好。

设置SSH,本地免密码登录

因为Spark master需要ssh到Spark worker中执行命令,所以,需要免密码登录。

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

执行ssh localhost确认一下,如果不需要密码登录就说明OK了。

Tips: Mac下可能ssh不到本地,请检查你sharing设置:

输入图片说明

下载Spark

http://spark.apache.org/downloads.html

我选择的是spark-1.6.0-bin-cdh4.tgz 。看到cdh4(Hadoop的一个分发版本),别以为它是要你装Hadoop。其实不然,要看你自己的开发需求。因为我不需要,所以,我只装Spark。

配置你的Spark slave

我很好奇,worker和slave这个名称有什么不同?还是因为历史原因,导致本质上一个东西但是两种叫法?

在你的Spark HOME路径下

cp ./conf/slaves.template ./conf/slaves

slaves文件中有一行localhost代表在本地启动一个Spark worker。

启动Spark伪分布式

<SPARK_HOME>/sbin/start-all.sh

执行JPS验证Spark启动成功

➜ jps
83141 Worker
83178 Jps
83020 Master

打开你的Spark界面

http://localhost:8080 输入图片说明

下载Spark项目骨架

为方便我自己开发,我自己创建了一个Spark应用开发的项目骨架。

  1. 下载项目骨架: http://git.oschina.net/zacker330/spark-skeleton

  2. 项目路径中执行:sbt package 编译打包你的spark应用程序。

将你的spark应用程序提交给spark master执行

    <SPARK_HOME>/bin/spark-submit \ 
          --class "SimpleApp" \
          --master spark://Jacks-MBP.workgroup:7077 \
              target/scala-2.10/spark-skeleton_2.10-1.0.jar

这个“spark://Jacks-MBP.workgroup:7077”是你在 http://localhost:8080 中看到的URL的值

可以看到打印出: hello world

© 著作权归作者所有

翟志军

翟志军

粉丝 356
博文 76
码字总数 79871
作品 2
深圳
程序员
私信 提问
加载中

评论(2)

叫我刀刀
叫我刀刀
https://hub.docker.com/r/sequenceiq/spark/
叫我刀刀
叫我刀刀
不错
本地windows跑Scala程序调用Spark

应用场景 spark是用scala写的一种极其强悍的计算工具,spark内存计算,提供了图计算,流式计算,机器学习,即时查询等十分方便的工具,所以利用scala来进行spark编程是十分必要的,下面简单书...

wsc449
2017/11/21
0
0
本地windows跑Python程序调用Spark

应用场景 spark是用scala写的一种极其强悍的计算工具,spark内存计算,提供了图计算,流式计算,机器学习,即时查询等十分方便的工具,当然我们也可以通过python代码,来调用实现spark计算,...

wsc449
2017/11/22
0
0
windows 安装 spark 及 PyCharm IDEA 调试 TopN 实例

首先声明本文搭建的环境为:windows8.1 + spark1.6.0 + python2.7 + jdk8,spark on windows 对 windows及python版本不怎么挑,但是对 spark 版本要求极其苛刻,比如 spark1.6.1 就无法运行。...

大数据之路
2012/06/28
1.2K
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(7)

第四步:通过Spark的IDE搭建并测试Spark开发环境 Step 1:导入Spark-hadoop对应的包,次选择“File”–> “Project Structure” –> “Libraries”,选择“+”,将spark-hadoop 对应的包导入...

Spark亚太研究院
2014/09/25
332
0
Windows端部署Scala2.10.5开发环境

应用场景 如果没有服务器环境,可以在本地搭建Scala开发环境,单机版,然后安装IDE编程工具,就可以在本地机器上进行scala程序的开发! 操作步骤 1. 首先安装jdk1.8 配置环境变量等 jdk1.8下...

wsc449
2017/11/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java 获取json某个值

String jsonStr = "{\"name\":\"小可爱\",\"course\":\"191010入门课程4年级3讲\",\"teacherPhone\":\"11111111111\"}";JSONObject jsonObject = JSONObject.parseObject(jsonStr); ......

varju
14分钟前
43
0
如何使用printf系列便携地打印size_t变量?

我有一个size_t类型的变量,我想用printf()打印它。 我使用什么格式说明符来便携地打印它? 在32位机器中, %u似乎是正确的。 我用g++ -g -W -Wall -Werror -ansi -pedantic ,没有任何警告。...

javail
20分钟前
51
0
Hostbuddy for Mac(host文件编修改管理工具) v2.2.4永久激活版

想要快速更换你Mac电脑中的host文件么?host文件编修改管理工具哪款好用? Hostbuddy Mac版好用吗?在这款host文件管理软件Hostbuddy for Mac中,有着简单轻松使用方法,可以通过软件快速更新...

mac小叮当
30分钟前
39
0
正则表达式匹配DNS主机名或IP地址?

是否有人方便使用与任何合法DNS主机名或IP地址匹配的正则表达式? 编写一个可以在95%的时间内正常工作的代码很容易,但是我希望得到经过充分测试的东西,以完全匹配最新的DNS主机名RFC规范。...

技术盛宴
35分钟前
37
0
Vue中你可能认为是bug的情况原来是这样的

前言 我们知道Vue框架剧本双向数据绑定功能,在我们使用方便的同时,还有一些细节问题我们并不知道,接下来一起探讨一些吧 双向数据绑定 js变量改变影响页面 页面改变影响js变量 Vue2是如何做...

涂老师
36分钟前
31
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部