文档章节

Spark集群搭建——Hadoop2.4.1集群搭建

Jackson_Mu
 Jackson_Mu
发布于 2015/03/16 17:16
字数 458
阅读 2581
收藏 50

安装Java

参见Hadoop 1.2.1 伪分布式模式安装中Java安装部分

配置SSH免密码验证

我们还是以spark-master, ubuntu-worker, spark-worker1三台机器为例。

参见博客Spark集群搭建——SSH免密码验证登陆

下载hadoop

下载地址:http://hadoop.apache.org/releases.html#Download

解压文件: tar -zxvf hadoop-2.4.1.tar.gz

修改配置文件

进入hadoop-2.4.1/etc/hadoop目录下,需要配置以下7个文件有:

hadoop-env.sh,   yarn-env.sh,   slaves,   core-site.xml,   hdfs-site.xml,   maprd-site.xml,   yarn-site.xml

1.  hadoop-env.sh配置JAVA_HOME

export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35

2.  yarn-env.sh配置JAVA_HOME

# some Java parameters
export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35

3.  slaves配置slave结点

ubuntu-worker
spark-worker1

4.  core-site.xml

<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://spark-master:9000</value>
 </property>

 <property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/home/mupeng/opt/hadoop-2.4.0/tmp</value>
  <description>Abasefor other temporary directories.</description>
 </property>
 <property>
  <name>hadoop.proxyuser.spark.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.spark.groups</name>
  <value>*</value>
 </property>
</configuration>

5.  hdfs-site.xml

<configuration>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>spark-master:9001</value>
 </property>

  <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/mupeng/opt/hadoop-2.4.0/dfs/name</value>
 </property>

 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/mupeng/opt/hadoop-2.4.0/dfs/data</value>
  </property>

 <property>
  <name>dfs.replication</name>
  <value>3</value>
 </property>

 <property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
 </property>

</configuration>

6.  maprd-site.xml

<configuration>
  <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>spark-master:10020</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>spark-master:19888</value>
 </property>
</configuration>

7.  yarn-site.xml

<configuration>
  <property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
  </property>
  <property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
   <name>yarn.resourcemanager.address</name>
   <value>spark-master:8032</value>
  </property>
  <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>spark-master:8030</value>
  </property>
  <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>spark-master:8035</value>
  </property>
  <property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>spark-master:8033</value>
  </property>
  <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>spark-master:8088</value>
  </property>
</configuration>

最后将配置好的hadoop-2.4.1文件夹拷贝到另外两个结点即可。

检查安装是否成功

查看hdfs:http://192.168.248.150:50070/dfshealth.html#tab-datanode,可以看到有两个结点:

查看yarn:http://192.168.248.150:8088/cluster/nodes


OK, 我们的Hadoop2.4.1集群搭建成功。接下来搭建spark集群参见博客Spark1.2.1集群环境搭建——Standalone模式


© 著作权归作者所有

共有 人打赏支持
Jackson_Mu
粉丝 73
博文 17
码字总数 15900
作品 0
海淀
程序员
私信 提问
加载中

评论(4)

d
dream_jackliu
首先非常感谢分享这些
d
dream_jackliu
另外 只是搭建, 你的用户权限 hdfs用户呢 Hadoop 用户呢 作为分享文档 这些细节不可不列出的
Jackson_Mu
Jackson_Mu

引用来自“jiacai2050”的评论

你这严重的标题党,说好的spark呢????
该篇是介绍搭建HDFS和yarn,为后续spark集群搭建做准备。spark搭建博客地址我已经在末尾加上了,谢谢你的提醒,希望我的博客能够对你有所帮助。
jiacai2050
jiacai2050
你这严重的标题党,说好的spark呢????
Spark1.2.1集群环境搭建——Standalone模式

机器准备 笔者有三台机器,左侧栏为ip,右侧为hostname,三台机器都有一个名为spark的用户。 192.168.248.150 spark-master192.168.248.153 ubuntu-worker192.168.248.155 spark-worker1 根据...

Jackson_Mu
2015/03/16
0
13
集群四部曲(三):完美的Spark集群搭建

前面已经成功的搭建了Zookeeper和Hadoop集群,接下来让我们更进一步,实现Spark集群的搭建吧。相比较而言,Spark集群的搭建要简单的许多了,关键是Hadoop已经搭建成功了。此次是基于上次的H...

海岸线的曙光
03/16
0
0
大数据学习系列之九---- Hive整合Spark和HBase以及相关测试

前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建,但是在使用hive进行数据查询的时候会非常的慢,因为hive默认使用的引擎是MapRe...

虚无境
08/24
0
0
2018年互联网大数据之大数据潮流的主先锋Spark

首先,跟大家简单说一下什么是大数据,没有百度的复杂,就是我自己总结的,有什么不对的地方,请大家指教! 1、何为大数据? 大数据就是短时间内,快速产生大量的多种多样的有价值的数据。 ...

A尚学堂Len老师
08/22
0
0
Hadoop2.7.4+Spark2.2.0滴滴云分布式集群搭建过程

1.在滴滴云申请三台服务器(CentOS系统64位7.3) 2.修改hosts文件 修改三台服务器的hosts文件,vim /etc/hosts(需要权限加上sudo vim /etc/hosts),在原文件的基础最后面加上: 修改完成后保存...

14142135623731
06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Confluence 6 快捷键

快捷键图标。 官方的下载地址为:https://atlassianblog.wpengine.com/wp-content/uploads/2018/01/keyboard-shortcuts-infographics.pdf...

honeymose
今天
3
0
Apache限定目录解析PHP,限制user_agent,PHP相关的配置

Apache限定目录解析PHP 配置前访问upload/index.php [root@test-a ~]# curl -x192.168.77.139:80 'www.test.com/upload/index.php'This is upload diretory 配置,/usr/local/apache2.4/......

野雪球
今天
4
0
java.util.Concurrent.Exchanger源码

类图 源码: package java.util.concurrent;import java.util.concurrent.atomic.AtomicInteger;import java.util.concurrent.atomic.AtomicReference;import java.util.concurrent......

狼王黄师傅
今天
6
0
Kubernetes里的secret最基本的用法

Secret解决了密码、token、密钥等敏感数据的配置问题,使用Secret可以避免把这些敏感数据以明文的形式暴露到镜像或者Pod Spec中。 Secret可以以Volume或者环境变量的方式使用。 使用如下命令...

JerryWang_SAP
昨天
5
0
2018-11-20学习笔记

1. python数据类型: 给变量赋值什么样的值,变量就是什么样的类型 给变量赋值整数,变量就是整数类型 给变量赋值字符串,变量就是字符串类型 123 和“123”一样吗? 在python中 单引号 与双...

laoba
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部