文档章节

《Spark指南》三、 提交应用程序

苏伟杰
 苏伟杰
发布于 2017/02/25 21:26
字数 2115
阅读 59
收藏 0

本文主要翻译至链接且不局限于该文内容,也加入了笔者实践内容,翻译水平有限,欢迎指正,转载请注明出处。

位于bin目录的spark-submit脚本用来在集群中运行应用程序,它以统一的接口支持所有类型的cluster managers(包括独立模式、Apache Mesos模式和Hadoop YARN模式)。

绑定应用程序依赖

如果你的代码依赖了其他的项目,在提交到Spark运行前,你需要将它们一起进行打包。在打包装配jar文件时,添加这些项目的依赖。sbtMaven都有提供装配的插件,点击对应的链接进一步了解。创建组装的jars文件时,Spark和Hadoop不需要捆绑,因为在集群master运行时,默认已经集成了这两个项目。一旦你打包了jar文件,就可以使用本文所说的spark-submit脚本提交你的jar文件并执行应用程序。

对于Python开发者,你可以使用spark-submit命令的--py-files参数,然后添加.py,.zip,.egg文件与你的应用程序一起发布。如果文件太多,推荐你将这些python文件打包成一个.zip或.egg文件。

使用spark-submit运行应用程序

一个应用程序和其附属文件捆绑好了之后,它就可以使用bin/spark-submit脚本提交运行,该命令的示例如下:

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

其中的选项含义如下:

  • --class:应用程序入口(例如:org.apache.spark.examples.SparkPi)
  • --master:master服务的url,(例如:spark://suweijieMac:7077)
  • --deploy-mode:选项cluster和client,cluster表示将应用程序提交给workers,client表示作为外部客户端在本地运行,默认是client
  • --conf:以“key=value”形式表示的任意Spark配置,如果值是包含空格的,将“key=value”以引号形式添加
  • application-jar:指向捆绑的应用程序的目录,这个url必须在集群中是可访问的,例如“hdfs://”或“file://”
  • application-arguments:传递给main class的参数,如果有的话

常见的部署策略是在物理上与工作机器位于同一地方的网关机器上提交应用,例如在独立EC2集群的master节点。这种部署方式下,client模式更合适,驱动程序直接在spark-submit同进程中执行,对于集群来说就是一个客户端。该应用程序的输入输出都会被打印到控制台上。因此,这一模式非常适合涉及REPL(Read-Eval-Print Loop,中文译为“读取-求值-输出”循环)的应用(例如Spark shell)。

此外,如果你的应用程序在一台与worker机器距离很远的机器上提交(例如你的工作电脑),可以使用cluster模式来减小网络延迟。目前,独立模式还不支持python应用程序的cluster模式。

对于python应用,只要在<application-jar>参数中使用.py文件替换jar文件,并且使用--py-files选项追加.zip,.egg或.py文件。

部分选项是针对不同的cluster manager(独立模式、Mesos模式和YARN模式)单独指定的,例如,对于独立模式,可以指定--supervise来设置驱动程序失败时自动重启。想要了解更多的选项配置含义,可以执行如下指令:

./bin/spark-submit --help

笔者执行后,可以看到的使用介绍如下:

spark-submit使用示例1

spark-submit使用示例2

下面是一些常见的范例:

# 本地提交,使用8核
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master local[8] \
  /path/to/examples.jar \
  100

# 以client部署模式提交一个应用程序到独立模式的集群
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

# 以client部署模式提交一个应用程序到独立模式的集群,同时开启supervise
./bin/spark-submit
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

# 提交一个应用程序到YARN模式的集群
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master yarn \
  --deploy-mode cluster \  # can be client for client mode
  --executor-memory 20G \
  --num-executors 50 \
  /path/to/examples.jar \
  1000

# 提交一个python应用程序到独立模式的集群
./bin/spark-submit \
  --master spark://207.184.161.138:7077 \
  examples/src/main/python/pi.py \
  1000

# 提交一个应用程序到mesos模式的集群,并开启supervise
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master mesos://207.184.161.138:7077 \
  --deploy-mode cluster \
  --supervise \
  --executor-memory 20G \
  --total-executor-cores 100 \
  http://path/to/examples.jar \
  1000

Master URL配置

传递给Spark的Master参数可以是如下这些格式:

Master URL含义
local在本地的Spark中执行,只是用1个worker线程(无并行)
local[K]在本地的Spark中执行,使用K个worker线程(理想情况下,可以设置该值为你机器的核数)
local[*]在本地的Spark中执行,worker线程数为你机器的逻辑核数
spark://HOST:PORT连接到一个指定的Spark独立模式集群,端口默认为7077,除非在master服务上进行了重新指定
mesos://HOST:PORT连接到一个指定 的Mesos模式集群,端口默认为5050,除非你重新进行了配置。或者,对于使用zookeeper的Mesos集群,使用mesos://zk://...作为值并使用--deploy-mode cluster来提交, HOST:PORT必须为连接到MesosClusterDispatcher的地址
yarn连接到一个YARN集群,可以是client或cluster模式。集群的位置根据 HADOOP_CONF_DIR 或 YARN_CONF_DIR来指定的

从文件导入配置

spark-submit脚本可以从一个配置文件导入默认的Spark配置 ,然后传给你的应用程序。默认情况下,它会从spark目录下的conf/spark-defaults.conf文件中读取配置。更多的细节可以参考这篇文档

使用文件导入配置的方式可以避免在spark-submit执行时传递部分配置。例如,如果你在文件中指定了spark.master属性,你就可以在执行spark-submit时忽略--master选项。一般情况下,配置的优先级为,SparkConf > spark-submit > 文件默认配置,程序中的SparkConf类指定的配置具有最高的优先级。 如果你不清楚配置选项来至于哪里,你可以在执行spark-submit时加入--verbose选项以打印出更详细的调试信息。

高级的依赖管理

在使用spark-submit提交时,应用程序的jar包,连同以--jars选项引入的其他jars文件都会被自动传输到集群中,引入的多个URL之间以逗号分隔。 这个列表的jar库会被加载到驱动程序和执行器的类路径中,目录扩展不能与--jars一起使用。

Spark允许使用如下URL方案来传输jar文件:

注意每次JARS和files都会拷贝到相应的执行机器上,最终随着时间的推移,机器上的存储空间会逐渐耗尽,因此需要及时清理。在YARN模式中,清理工作可以自动触发,在Spark独立模式中,可以通过配置spark.worker.cleanup.appDataTtl属性来实现自动清理工作。

用户还可以通过--packages选项并提供以逗号分隔的maven依赖列表来引入任何其他依赖项。 使用此命令时将处理所有传递的依赖性。 还可以使用--repositories选项并以逗号分隔的方式添加其他存储库(或SBT中的解析器)。 (请注意,在某些情况下,可以在存储库URI中提供受密码保护的存储库的凭据,例如https://user:password@host/ ....但是请谨慎提供凭据。)这些命令可以与pyspark,spark-shell和spark-submit一起使用,用以引入Spark Packages。

对于Python,等价的选项是--py-files,它用来将 .egg,.zip和.py库传输到执行器中。

更多信息

一旦你提交了你的应用,集群模式概述这篇文档描述了分布式执行中的一些组件,以及如何监控和调试应用程序。

© 著作权归作者所有

苏伟杰
粉丝 0
博文 3
码字总数 8551
作品 0
朝阳
程序员
私信 提问
MaxCompute Spark开发指南

概述 本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。 MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计...

zhaowei121
03/11
9
0
【Spark】Spark Quick Start(快速入门翻译)

本文主要是翻译Spark官网Quick Start。只能保证大概意思,尽量保证细节。英文水平有限,如果有错误的地方请指正,轻喷 目录导航在右上角,感谢两个大佬(孤傲苍狼 JavaScript自动生成博文目录...

跑呀跑
2018/09/16
0
0
Spark 学习资源收集【Updating】

(一)spark 相关安装部署、开发环境 1、Spark 伪分布式 & 全分布式 安装指南 http://my.oschina.net/leejun2005/blog/394928 2、Apache Spark探秘:三种分布式部署方式比较 http://dongxic...

大数据之路
2014/09/08
5K
0
扣丁学堂大数据培训Spark架构运行及优势详解

  今天扣丁学堂大数据培训给大家介绍一下关于大数据开发中Spark架构运行详解及其优势详解,首先spark是一种分布式的计算框架。类似于大数据开发中Hadoop生态圈的MapReduce,计算思想和MR非...

扣丁学堂
2018/08/14
0
0
[Spark]Spark Streaming 指南四 输入DStreams和Receivers

1. 输入DStream与Receiver 输入DStreams表示从源中获取输入数据流的DStreams。在指南一示例中,lines表示输入DStream,它代表从netcat服务器获取的数据流。每一个输入DStream(除 file strea...

sjf0115
2017/03/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
696
10
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
39
0
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
25
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
74
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
73
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部