文档章节

Spark的HA部署

Julyme
 Julyme
发布于 2017/02/23 14:56
字数 167
阅读 15
收藏 0

一、安装JDK、Scala

二、安装zookeeper

三、安装Hadoop

四、安装Spark

  1、修改spark/conf/spark-env.sh 

    export JAVA_HOME=/usr/java/jdk1.8.0_65
    export SCALA_HOME=/usr/scala-2.11.8
    export HADOOP_HOME=/usr/hadoop-2.7.2
    export HADOOP_CONF_DIR=/usr/hadoop-2.7.2/etc/hadoop
    export SPARK_MASTER_IP=node1
    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node1:2181,node2:2181,node3:2181 -Dspark.deploy.zookeeper.dir=/spark"
    export SPARK_WORKER_MEMORY=1g
    export SPARK_EXECUTOR_MEMORY=1g
    export SPARK_DRIVER_MEMORY=1G
    export SPARK_WORKER_CORES=2

  2、修改 spark/conf/slaves  

    node2
    node3
    node4

  3、修改 spark/conf/spark-defaults.conf

    spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
    spark.eventLog.enabled true
    spark.eventLog.dir hdfs://mycluster/historyServerforSpark
    spark.yarn.historyServer.address node1:18080
    spark.history.fs.logDirectory hdfs://mycluster/historyServerforSpark

  4、需要到hdfs 系统上创建/historyServerforSpark目录

  5、复制到各个机器上

  6、启动spark集群和启动history-serve

   ./start-all.sh

   ./start-history-server.sh

 

PS:其他机器的master需要在其他机器运行./start-master.sh

 

© 著作权归作者所有

上一篇: Storm的部署
Julyme
粉丝 1
博文 3
码字总数 2513
作品 0
广州
程序员
私信 提问
Spark笔记整理(三):Spark WC开发与应用部署

[TOC] Spark WordCount开发 创建的是maven工程,使用的依赖如下: spark wc之Java版本 本地执行,输出结果如下: ###spark wc之Java lambda版本 本地执行,输出结果如下: spark wc之scala版...

xpleaf
2018/04/25
0
0
Spark笔记整理(一):spark单机安装部署、分布式集群与HA安装部署+spark源码编译

[TOC] spark单机安装部署 完全分布式安装 Spark源码编译 编译成功后输出如下: 然后就可以在下面的目录中看到编译成功的文件: 在已经安装的spark的lib目录下也可以看到该文件:...

xpleaf
2018/04/24
0
0
Spark(一)-- Standalone HA的部署

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45629643 首先交代一下集群的规模和配置 集群有六台机器,均是VM虚拟机,每台2...

jchubby
2015/05/11
0
0
Spark(十二) -- Spark On Yarn & Spark as a Service & Spark On Tachyon

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/46242143 Spark On Yarn: 从0.6.0版本其,就可以在在Yarn上运行Spark 通过Yar...

jchubby
2015/05/29
0
0
TalkingData的Spark On Kubernetes实践

众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式...

Docker
2018/05/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

关于ThinkPHP5.1+的Log无法记录SQL调试记录的小经历

项目开发阶段,除了基本编码外,性能也需要实时关注与优化。之前我的大部分项目都是使用ThinkPHP5.0以及ThinkPHP3.2,对于框架提供的日志记录和日志配置都差不多,然后使用ThinkPHP5.1的时候...

北桥苏
11分钟前
0
0
TiDB Binlog 源码阅读系列文章(四)Pump server 介绍

作者: satoru 在 上篇文章 中,我们介绍了 TiDB 如何通过 Pump client 将 binlog 发往 Pump,本文将继续介绍 Pump server 的实现,对应的源码主要集中在 TiDB Binlog 仓库的 pump/server.go...

TiDB
14分钟前
0
0
OSChina 周五乱弹 ——不知道假装开心,装的像么

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @巴拉迪维 :天黑了 你很忧愁, 你说世界上, 找不到四块五的妞, 行走在凌晨两点的马路上, 你疲倦地拿着半盒黄鹤楼。#今日歌曲推荐# 《四块...

小小编辑
今天
2.4K
18
Windows下学习C语言有哪些集成开发软件?

前言 初学者学习C语言遇到的最大困难想必就是搭建环境了,相当多的初学者就是被搭建环境导致放弃了学习编程,就我自己的经验而言,初学编程不应该受限于环境,使用成熟好用的环境就可以了,之...

Allen5G
昨天
2
0
Hello,Servlet!

Servlet来源 上文说过了servlet是什么,我们从servlet是什么中也可以了解到servlet的来源:servlet是Java的一个类,并且能够运行在web容器上,所以servlet是按照web容器的规范和Java的规范写...

蒙尘
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部