文档章节

Spark on Yarn集群搭建

skanda
 skanda
发布于 2017/08/30 14:51
字数 2284
阅读 18
收藏 0
点赞 0
评论 0

由于最近学习大数据开发,spark作为分布式内存计算框架,当前十分火热,因此作为首选学习技术之一。Spark官方提供了三种集群部署方案: Standalone, Mesos, Yarn。其中 Standalone 为spark本身提供的集群模式,搭建过程可以参考官网,本文介绍Spark on Yarn集群部署过程。使用3台普通机器搭建Spark集群,

软件环境:

Ubuntu 16.04 LTS

Ubuntu 16.04 LTS

CentOS7

Scala-2.10.6

Hadoop-2.7.2

spark-1.6.1-bin-hadoop2.6

Java-1.8.0_77

硬件环境:

一个Master节点

Intel® Core™ i5-2310 CPU @ 2.90GHz × 4

4G内存

300G硬盘

两个Slave节点

Intel® Core™ i3-2100 CPU @ 3.10GHz × 4

4G内存

500G硬盘

一、配置/etc/hosts及免密码登录

本文下载安装的软件都放在 home 目录下。

1. 主机hosts文件配置

在每台主机上修改host文件

 

sudo vim /etc/hosts

218.199.92.227 fang-ubuntu1(Master)

218.199.92.226 fang-centos(Slave)

218.199.92.225  fang-Lenovo(Slave)

127.0.0.1 localhost

127.0.1.1 localhost

注:若此地未配置,或者未配置正确会导致集群启动不正常或者失败(nodemanager did not stop gracefully after 5 seconds )

配置之后ping一下各机器名称检查是否生效,例如ssh fang@fang-centos。

2. 配置SSH 免密码登录

如果没有安装ssh,需要安装Openssh server,命令为sudo apt-get install openssh-server。

1) 在所有机器上都生成私钥和公钥

ssh-keygen -t rsa  #一路回车

2) 需要让机器间都能相互访问,就把每个机子上的id_rsa.pub发给master节点,传输公钥可以用scp来传输。

scp ~/.ssh/id_rsa.pub fang@fang-ubuntu1:~/.ssh/id_rsa.pub.slave1

3) 在master上,将所有公钥加到用于认证的公钥文件authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

4) 将公钥文件authorized_keys分发给每台slave

scp ~/.ssh/authorized_keys fang@fang-centos:~/.ssh/

5) 在每台机子上验证SSH无密码登录

 

在终端中输入登录命令,例如:ssh fang@fang-centos 如果直接登录成功而不需要登录密码,则表示设置正确;如果登录不成功,即仍然需要登录密码,则可能需要修改文件authorized_keys的权限。

注:.ssh 文件夹的权限必须为700,authorized_keys文件权限必须为600

使用如下命令改变文件夹权限:chmod 600 ~/.ssh/authorized_keys

二、安装 Java

从官网下载最新版 Java,Spark官方说明 Java 只要是6以上的版本都可以,本文使用的是 jdk-8u91-linux-x64.tar.gz。

在下载目录下直接解压tar -zcvf jdk-8u91-linux-x64.tar.gz并复制文件到/usr/lib/jvm中,命令如下:

    sudo cp -r jdk1.8.0_77 /usr/lib/jvm(如果没有jvm文件夹,则手动创建一个),修改环境变量sudo vim /etc/profile,添加下列内容:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77

export JRE_HOME=$JAVA_HOME/jre
    export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
    export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

然后使环境变量生效,并验证 Java 是否安装成功

$ source /etc/profile  #生效环境变量
    $ java -version   #如果打印出如下版本信息,则说明安装成功

 

三、安装 Scala

Spark官方要求 Scala 版本为 2.10.x,注意不要下错版本,我这里下了 2.10.6同样我们在~/中解压

tar -zcvf scala-2.10.6.tar.gz

再次修改环境变量sudo vim /etc/profile,添加以下内容:

export SCALA_HOME=/home/fang/scala-2.10.6
    export PATH=$PATH:$SCALA_HOME/bin

同样的方法使环境变量生效,并验证 scala 是否安装成功

$ source /etc/profile  #生效环境变量
    $ scala -version        #如果打印出如下版本信息,则说明安装成功。

四、安装配置 Hadoop YARN

从官网下载 hadoop2.7.2版本,在用户根目录解压tar -zcvf hadoop-2.7.2.tar.gz

再次修改环境变量sudo vim /etc/profile,添加以下内容:

export HADOOP_HOME=/home/fang/hadoop-2.7.2

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export YARN_HOME=/home/fang/hadoop-2.7.2

export YARN_CONF_DIR=${YARN_HOME}/etc/hadoop

同样的方法使环境变量生效

$ source /etc/profile  #生效环境变量

注:有时候修改了/etc/profile文件,执行命令source之后还是不能达到正常的效果,则需要重新机器,看问题是否能解决。

配置 Hadoop,cd  ~/hadoop-2.7.2/etc/hadoop进入hadoop配置目录,需要配置有以下7个文件:hadoop-env.sh,yarn-env.sh,slaves,core-site.xml,hdfs-site.xml,maprd-site.xml,yarn-site.xml。

在hadoop-env.sh中配置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77

在yarn-env.sh中配置JAVA_HOME

# some Java parameters
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77

在slaves中配置slave节点的ip或者host,

fang-centos

fang-Lenovo

 

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://fang-ubuntu1:9000/</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/fang//hadoop-2.7.2/tmp</value>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>fang-ubuntu1:9001</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/fang/hadoop-2.7.2/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/fang/hadoop-2.7.2/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>fang-ubuntu1:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>fang-ubuntu1:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>fang-ubuntu1:8035</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>fang-ubuntu1:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>fang-ubuntu1:8088</value>
    </property>
</configuration>

将配置好的hadoop-2.7.2文件夹分发给所有slaves节点

scp -r ~/hadoop-2.6.0 fang@fang-centos:~/

启动 Hadoop
在 master节点上执行以下操作,就可以启动 hadoop 了。

cd ~/hadoop-2.7.2    #进入hadoop目录
bin/hadoop namenode -format    #格式化namenode

注:若格式化之后重新修改了配置文件,重新格式化之前需要删除tmp,dfs,logs文件夹。
sbin/start-dfs.sh              #启动dfs 查看namenode:http://ip:50070/
sbin/start-yarn.sh              #启动yarn

验证 Hadoop 是否安装成功,可以通过jps命令查看各个节点启动的进程是否正常。

在 master 上应该有以下几个进程:

在每个slave上应该有以下几个进程:

在浏览器中输入 http://fang-ubuntu1:8088 ,可以看到hadoop 的管理界面。

 

五、Spark安装

下载解压,进入官方下载地址下载最新版 Spark。我下载的是 spark-1.6.1-bin-hadoop2.6.tar.gz。

在~/目录下解压,tar -zcvf spark-1.6.1-bin-hadoop2.6.tar.gz

配置 Spark

cd ~spark-1.6.1-bin-hadoop2.6/conf    #进入spark配置目录

cp spark-env.sh.template spark-env.sh  #从配置模板复制

vim spark-env.sh    #添加配置内容

在spark-env.sh末尾添加以下内容(这是我的配置,你可以自行修改):

export SPARK_HOME=/home/fang/spark-1.6.1-bin-hadoop2.6

export SCALA_HOME=/home/fang/scala-2.10.6

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_77

export HADOOP_HOME=/home/fang/hadoop-2.7.2

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

     :$HADOOP_HOME/sbin:$SCALA_HOME/bin

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_CONF_DIR=$YARN_HOME/etc/hadoop

export SPARK_MASTER_IP=218.199.92.227

SPARK_LOCAL_DIRS=/home/fang/spark-1.6.1-bin-hadoop2.6

SPARK_DRIVER_MEMORY=1G

export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

      :$HADOOP_HOME/lib/native

注:在设置Worker进程的CPU个数和内存大小,要注意机器的实际硬件条件,如果配置的超过当前Worker节点的硬件条件,Worker进程会启动失败。

vim slaves在slaves文件下填上slave主机名:

slave1
slave2

将配置好的spark-1.6.1-bin-hadoop2.6文件夹分发给所有slaves吧

scp -r ~/spark-1.6.1-bin-hadoop2.6 fang@fang-cenos:~/

启动Spark ,sbin/start-all.sh

验证 Spark 是否安装成功
主节点上启动了Master进程:

在 slave 上启动了Worker进程:

 

进入Spark的Web管理页面:http://fang-ubuntu1:8080

 

六、运行示例

本例以集群模式运行SparkPi实例程序(deploy-mode 设置为cluster)

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 1G --executor-memory 1G --executor-cores 1 lib/spark-examples-1.6.1-hadoop2.6.0.jar 40

 

任务提交时web界面

 

作业运行完成web界面

 

注意 Spark on YARN 支持两种运行模式,分别为yarn-cluster和yarn-client,yarn-cluster适用于生产环境;而yarn-client适用于交互和调试,因为能在客户端终端看到程序输出。客户端模式实例和上面集群模式运行过程类似,在此不在赘述。

部署结束后,提交spark工程,提示使用内置hadoop

“The pre-built 32-bit i386-Linux native hadoop library is available as part of the hadoop distribution and is located in the lib/native directory​”

 

需本地重新编译

重新checkout source code

svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.1.0-beta/

加上编译native的选项,编译时会根据当前的操作系统架构来生产相应的native库

mvn package -Pdist,native -DskipTests -Dtar

再去native文件下查看所有的file type,已经都是64位版的了,替换线上文件,WARNING消除

 

代码测试:

word count

1,先上传一个文本文件

hadoop fs -put ./derby.log  file

2,确认上传成功?从hdfs下载文件

t@ubuntu:~/source/spark$ hadoop fs -get hdfs://192.168.1.166:9000/user/t/file derby.log

hdoop uri相关

hadoop hdfs uri详解

一、hdfs基本命令:
hadoop fs -cmd <args>
选项:
cmd: 具体的操作,基本上与UNIX的命令行相同
args: 参数

二、hdfs资源uri格式:
用法:scheme://authority/path
选项:
scheme–>协议名,file或hdfs
authority–>namenode主机名
path–>路径
范例:hdfs://localhost:54310/user/hadoop/test.txt
假设已经在/home/hadoop/hadoop-1.1.1/conf/core-site.xml里配置了fs.default.name=hdfs://localhost:54310,则仅使用/user/hadoop/test.txt即可。hdfs默认工作目录为/user/$USER,$USER是当前的登录用户名。

三、hdfs命令范例
hadoop fs -mkdir /user/hadoop
hadoop fs -ls /user
hadoop fs -lsr /user(递归的)
hadoop fs -put test.txt /user/hadoop(复制到hdfs://localhost:54310/user/hadoop目录下,首先要创建当前目录)
hadoop fs -get /user/hadoop/test.txt .(复制test.txt文件到本地当前目录下)
hadoop fs -cat /user/hadoop/test.txt
hadoop fs -tail /user/hadoop/test.txt(查看最后1000字节)
hadoop fs -rm /user/hadoop/test.txt
hadoop fs -help ls(查看ls命令的帮助文档)

 

本文转载自:http://blog.csdn.net/u010638969/article/details/51283216

共有 人打赏支持
skanda
粉丝 9
博文 75
码字总数 50007
作品 0
厦门
Spark的运行架构分析(二)之运行模式详解

在上一篇博客 spark的运行架构分析(一)中我们有谈到Spark的运行模式是多种多样的,那么在这篇博客中我们来具体谈谈Spark的运行模式 本博客转载自https://blog.csdn.net/gamer_gyt/article...

lubin2016 ⋅ 04/18 ⋅ 0

Spark的运行架构分析(一)之架构概述

本博客转载自:https://blog.csdn.net/gamer_gyt/article/details/51822765 1:Spark的运行模式 2:Spark中的一些名词解释 3:Spark的运行基本流程 4:RDD的运行基本流程 一:Spark的运行模式...

lubin2016 ⋅ 04/18 ⋅ 0

spark-使用总结-大数据基础入门

1、partition数目 spark的输入可能以多个文件的形式存储在HDFS上,每个File都包含了很多块,称为Block。 当Spark读取这些文件作为输入时,会根据具体数据格式对应的InputFormat进行解析,一般...

我叫大兄弟 ⋅ 05/08 ⋅ 0

使用IDEA 搭建 spark on yarn 的开发环境+调试~

1.导入yarn和hdfs配置文件 因为spark on yarn 是依赖于yarn和hdfs的,所以获取yarn和hdfs配置文件是首要条件,将core-site.xml、hdfs-site.xml 、yarn-site.xml 这三个文本考入到你IDEA项目里...

qq_31806205 ⋅ 05/25 ⋅ 0

Spark 的Core深入(二)

Spark 的 Core 深入(二) 标签(空格分隔): Spark的部分 一、日志清洗的优化: 1.1 日志清洗有脏数据问题 rdd.partitions.length rdd.cacherdd.count 一个分区默认一个task 分区去处理默认...

flyfish225 ⋅ 05/08 ⋅ 0

Spark笔记整理(三):Spark WC开发与应用部署

[TOC] Spark WordCount开发 创建的是maven工程,使用的依赖如下: spark wc之Java版本 本地执行,输出结果如下: ###spark wc之Java lambda版本 本地执行,输出结果如下: spark wc之scala版...

xpleaf ⋅ 04/25 ⋅ 0

Hadoop、MapReduce、YARN和Spark的区别与联系

(1) Hadoop 1.0 第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应...

cuiyaonan2000 ⋅ 05/08 ⋅ 0

【DataMagic】如何在万亿级别规模的数据量上使用Spark

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区,未经许可,不得转载。 作者:张国鹏 | 腾讯 运营开发工程师 一、前言 Spark作为大数据计算引擎,凭借其快速、...

⋅ 04/18 ⋅ 0

Spark On Yarn Cluster 模式下的远程调试Spark源码(Attach模式)

Spark源码学习时,我们通常很想知道Spark-submit提交之后,Spark都做了什么,这就需要我们对Spark源码进行单步调试。另外,我们在spark on yarn模式下,尤其是yarn-cluster模式下,我们无法连...

stefan_xiepj ⋅ 05/24 ⋅ 0

Spark中的一些基本概念,及运行流程

1 Spark中的一些基本概念 话不多说,先来一个官网地址:链接 1. Application:用户基于spark的代码,由一个Driver和多个Excutor组成。 2. Application jar:将用户基于spark的代码打包成的jar...

yu0_zhang0 ⋅ 04/23 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

线程池

一、线程池:提供了一个线程队列,队列中保存着所有等待状态的线程。避免了创建与销毁额外开销,提高了响应的速度。 二、线程池的体系结构: java.util.concurrent.Executor : 负责线程的使用...

stars永恒 ⋅ 13分钟前 ⋅ 0

你值5K还是15K?实战案例,测测你的分析功力

本文源自陈老师遇到的真实案例。 老板说:“我们今年准备参加展会,做一年。以前我没参加过,没关系,这里有一份展会数据,你回去分析下哪些有价值,后边组织的时候有个指导”。现在你收到任...

加米谷大数据 ⋅ 14分钟前 ⋅ 0

中文转英文功能

package com.sysware.task.util;import net.sourceforge.pinyin4j.PinyinHelper;import net.sourceforge.pinyin4j.format.HanyuPinyinCaseType;import net.sourceforge.pinyin4j.for......

AK灬 ⋅ 15分钟前 ⋅ 0

JNI Java层类关联C/C++层的类

Android开发时,因为要实现某某功能,需要集成算法公司的算法库(so库),这就需要自己编写JNI。 通常这些库提供的接口可以概况成1、初始化 2、算法处理 3、释放 4、打印版本号 初始化后会返...

国仔饼 ⋅ 18分钟前 ⋅ 0

maven下载jar包改为阿里云的maven库

一:修改maven安装路径中conf文件夹下的setting.xml文件 <mirrors> <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/......

夜醒者 ⋅ 19分钟前 ⋅ 0

电商用户行为分析大数据平台相关系列10-基础数据结构分析

电商用户行为分析大数据平台相关系列1-环境介绍 电商用户行为分析大数据平台相关系列2-HADOOP环境搭建 电商用户行为分析大数据平台相关系列3-HIVE安装 电商用户行为分析大数据平台相关系列4...

xiaomin0322 ⋅ 20分钟前 ⋅ 0

使用readLine()方法遇到的坑

下午玩 TCP/IP 的 Socket 通信时,使用 BufferedReader 的 readLine() 遇到了一个坑,现在终于解决了,特此记录下来。 程序很简单,客户段从控制台读取用户输入,然后发送至服务器端,主要代...

孟飞阳 ⋅ 20分钟前 ⋅ 0

基于Hadoop集群的Hive安装配置(Derby数据库)

Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据,提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行(具体的Hive架构大家自行搜索)。接下来主要讲下Hadoop集群下...

海岸线的曙光 ⋅ 21分钟前 ⋅ 0

CoreOS裸机iso安装和相关配置

裸机通过iso安装CoreOS,个人趟了很多坑,以下就是完整的从零开始部署和配置的过程,希望对大家有用。 一、安装CoreOS到硬盘 1. 准备Live iso镜像,制作好usb启动盘 Live iso下载地址 2. 搭建...

ykbj ⋅ 26分钟前 ⋅ 0

jquery控制表格锁列(转)

表格已经完成后新加的需求,要实现锁表格的第一列。很多带这种效果的都是js封装的框架或者具体某种框架的组件,不适用解决当前问题。作为后端开发又实在不熟样式,搜到了一个可以用的,虽然样...

刘昌鑫 ⋅ 28分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部