文档章节

Spark集群配置-Mesosphere方案

Joy1024
 Joy1024
发布于 2016/04/15 12:04
字数 1051
阅读 83
收藏 0

#操作系统

  CentOS 7

  JDK 1.6以上, 如:/usr/share/jdk1.7.0_45

#修改节点名字

    本次搭建Spark集群机器主从节点, 修改host(/etc/hosts)如下:


Hostname

Ip

Master

xd-ui

192.168.1.5

Slave 1

Xd-1

192.168.1.6

Slave 2

Xd-2

192.168.1.7

Slave 3

Xd-3

192.168.1.8

 

#安装mesosphere repo

sudo rpm -Uvh http://repos.mesosphere.io/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm 

#下载apache mesos

wget http://downloads.mesosphere.io/master/centos/7/mesos-0.21.1-1.1.centos701406.x86_64.rpm

sudo rpm -Uvh mesos-0.21.1-1.1.centos701406.x86_64.rpm

#安装marathon

sudo yum -y install marathon

#安装chronos

sudo yum -y install chronos

 

ZooKeeper配置,此处略,详细看zook配置文档

On each node, replacing the IP addresses below with each master's IP address, set /etc/mesos/zk to:

zk://1.1.1.1:2181,2.2.2.2:2181,3.3.3.3:2181/mesos

#配置Mesosphere master节点

quorum

设置:/etc/mesos-master/quorum内容: 1

目前个人理解Quorum主节点个数,类似hadoop临时主节点,大家有意见的可以反馈我。

Hostname

设置/etc/mesos-master/hostname为xd-ui   

 

Work_dir

设置/etc/mesos-master/work_dir为工作目前,默认为:/var/lib/mesos,我这里设置/alidata1/mesos

 

配置结构显示如下

[dev@xd-ui ~]$ tree /etc/mesos-master/
  /etc/mesos-master/
 
├── hostname     à xd-ui
 
├── quorum      à 1
  └── work_dir    
à /alidata1/mesos


重启Mesos Master:

[dev@xd-ui ~]$sudo service mesos-master   restart

#配置Mesosphere slave节点

Xd-1

配置各个节点的Slaves
  [dev@spark-1 ~]$ tree /etc/mesos-slave/
  /etc/mesos-slave/
 
── hostname    xd-1
 
└──   work_dir    /alidata1/mesos

Xd-2

配置各个节点的Slaves
  [dev@spark-2 ~]$ tree /etc/mesos-slave/
  /etc/mesos-slave/
 
── hostname    xd-2
 
└──   work_dir    /alidata1/mesos

Xd-3

配置各个节点的Slaves
  [dev@spark-3 ~]$ tree /etc/mesos-slave/
  /etc/mesos-slave/
  ├
── hostname    xd-3
 
└── work_dir    /alidata1/mesos


在节点[xd-1,xd-2,xd-3]上重启各个Mesos Slaves:

[dev@xd-1 ~]$sudo service   mesos-slave restart

 

检查各个节点是否起来

[dev@xd-ui ~]$sudo ps -ef | grep mesos

/usr/sbin/mesos-slave   --master=zk://xd-1:2181,xd-2:2181,xd-3:2181/mesos --log_dir=/var/log/mesos   --hostname=xd-3 --work_dir=/alidata1/mesos

 

出现类似内容则启动正常

#访问Mesosphere主页,确认各个节点是否正常

浏览器输入 http://xd-ui:5050/,点击slaves标签页

#Spark配置

下载spark分布式二进制套件

注意:按实际需要,选择对应的spark和hadoop版本

解压spark-1.2.1-bin-hadoop2.4.tgz

tar -czvf   spark-1.2.1-bin-hadoop2.4.tgz spark-1.2.1-bin-hadoop2.4

修改${SPARK_HOME}/bin/spark-class或者conf/spark-env.sh,在首行添加:

export JAVA_HOME=/usr/share/jdk1.7.0_45

确定所有的Mesos 节点的JDK,按照目录是一致的.

再压缩成spark-1.2.1-bin-hadoop2.4.tgz

tar -czvf spark-1.2.1-bin-haoop2.4.tgz

 

再发布压缩tgz包到hdfs或者http。

可以使用Nginx做一个简单的下载服务器,比如我的下载地址是:

http://192.168.0.7/download/ spark-1.2.1-bin-haoop2.4.tgz

把解压的spark目录放到mesos-master上。

并且配置${SPARK_HOME}/conf/spark-env.sh,在文件末尾添加:

export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
  export SPARK_EXECUTOR_URI=http://192.168.0.7/download/
spark-1.2.1-bin-haoop2.4.tgz
  export MASTER=mesos://xd-ui:5050

 

#启动spark shell

 [dev@xd-ui spark-1.2.0-dist]$ ./bin/spark-shell

Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

15/01/22 16:07:46 INFO SecurityManager: Changing view acls to: dev

15/01/22 16:07:46 INFO SecurityManager: Changing modify acls to: dev

15/01/22 16:07:46 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(dev); users with modify permissions: Set(dev)

15/01/22 16:07:46 INFO HttpServer: Starting HTTP Server

15/01/22 16:07:46 INFO Utils: Successfully started service 'HTTP class server' on port 50256.

Welcome to

      ____              __

     / __/__  ___ _____/ /__

    _\ \/ _ \/ _ `/ __/  '_/

   /___/ .__/\_,_/_/ /_/\_\   version 1.2.0

      /_/

 

Using Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_45)

Type in expressions to have them evaluated.

 

 

输入测试代码

scala> val data = 1 to 10000; val distData = sc.parallelize(data); distData.filter(_< 10).collect()

data: scala.collection.immutable.Range.Inclusive = Range(1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 107, 108, 109, 110, 111, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 123, 124, 125, 126, 127, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 146, 147, 148, 149, 150, 151, 152, 153, 154, 155, 156, 157, 158, 159, 160, 161, 162, 163, 164, 165, 166, 167, 168, 169, 170...

 

#查看mesosphere ui界面确定任务是否运行成功

浏览器输入http://xd-ui:5050

 

#打开spark WebUI界面查看任务执行结果:

浏览器输入:http://xd-ui:4040

 

参考资料

http://mesosphere.com/downloads/details/index.html

http://mesosphere.com/docs/tutorials/run-spark-on-mesos/

http://mesosphere.com/docs/getting-started/datacenter/install/

http://mesos.apache.org/gettingstarted/

http://spark.apache.org/docs/latest/running-on-mesos.html#configuration


© 著作权归作者所有

共有 人打赏支持
Joy1024
粉丝 9
博文 49
码字总数 12997
作品 0
东城
架构师
私信 提问
Spark on hdp Yarn Cluster 踩坑(hdp.version)

开源Spark运行在hdp的yarn集群失败分析: 部署方案 spark官网下载基于hdp的Hadoop版本的pre-built的spark安装包 在机器上解压,并在spark-env中配置HADOOPCONFDIR,SPARKCONFDIR,spark-def...

WestC
03/30
0
0
[Spark]Spark 应用程序部署工具spark-submit

1. 简介 Spark的bin目录中的spark-submit脚本用于启动集群上的应用程序。 可以通过统一的接口使用Spark所有支持的集群管理器,因此不必为每个集群管理器专门配置你的应用程序(It can use al...

sjf0115
2017/02/16
0
0
搭建Spark集群?没想到你是这样的k8s

在本文的例子中,你将使用 Kubernetes 和 Docker 创建一个功能型Apache Spark集群。 你将使用Spark standalone模式 安装一个 Spark master服务和一组Spark workers。 对于已熟悉这部分内容的...

时速云
2016/08/24
572
0
TalkingData的Spark On Kubernetes实践

众所周知,Spark是一个快速、通用的大规模数据处理平台,和Hadoop的MapReduce计算框架类似。但是相对于MapReduce,Spark凭借其可伸缩、基于内存计算等特点,以及可以直接读写Hadoop上任何格式...

Docker
05/14
0
0
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(9)

第二步:构造分布式的Spark1.0.2集群 1,下载Scala 2.10.4,具体下载地址: http://www.scala-lang.org/download/2.10.4.html 在Ubuntu机器上Scala会帮助我们自动选择“scala-2.10.4.tgz”进行...

Spark亚太研究院
2014/11/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

斗图咖(www.doutuka.com)上线纪念

网站名称:斗图咖 网站描述:是一款年轻人都在玩的斗图网站,来斗图咖一起斗图装逼交朋友吧。站长每天上传收集的最新最火斗图,供大家娱乐聊天发表情;后期也会开发表情自主设计,自己设计表...

focusone
19分钟前
2
0
Spring AOP 切面编程记录日志和接口执行时间

最近客户现在提出系统访问非常慢,需要优化提升访问速度,在排查了nginx、tomcat内存和服务器负载之后,判断是数据库查询速度慢,进一步排查发现是因为部分视图和表查询特别慢导致了整个系统...

编程SHA
30分钟前
5
0
年度大盘点:机器学习开源项目及框架

摘要: 2018年马上就要结束了,我们来回顾一下过去的这一年中,机器学习领域有哪些有趣的事情吧! 我们先来看看Mybridge AI 中排名靠前的顶级开源项目,再聊聊机器学习今年都有哪些发展,最后...

阿里云官方博客
33分钟前
6
0
15个Spring的核心注释示例

众所周知,Spring DI和Spring IOC是Spring Framework的核心概念。让我们从org.springframework.beans.factory.annotation和org.springframework.context.annotation包中探索一些Spring核心注......

java菜分享
36分钟前
2
0
[LintCode] Binary Tree Level Order Traversal(二叉树的层次遍历)

描述 给出一棵二叉树,返回其节点值的层次遍历(逐层从左往右访问) 样例 给一棵二叉树 {3,9,20,#,#,15,7} : 3 / \9 20 / \ 15 7 返回他的分层遍历结果: [ [3], [...

honeymose
44分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部