文档章节

Hadoop-2.8.0搭建集群

jwyming
 jwyming
发布于 2017/04/23 18:58
字数 830
阅读 81
收藏 0

Zookeeper集群

先需要搭建zookeeper集群, 请参考前面的文章: Zookeeper集群

Hadoop配置

core-site.xml:

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>

<!-- 指定hadoop临时目录 -->

 <property>

  <name>hadoop.tmp.dir</name>

  <value>/opt/hadoop-2.8.0/tmp</value>

 </property>

<property>      
      <name>io.file.buffer.size</name>      
      <value>4096</value>      
 </property>

 <!-- 指定zookeeper地址 -->

 <property>

  <name>ha.zookeeper.quorum</name>

  <value>192.168.56.1:2181,192.168.56.101:2181,192.168.56.102:2181</value>

 </property>

 <property>

  <name>ha.zookeeper.session-timeout.ms</name>

  <value>3000</value>

 </property>

hdfs-site.xml:

 <property>

  <name>dfs.nameservices</name>

  <value>mycluster</value>

 </property>

 <!-- mycluster下面有两个NameNode,分别是nn1,nn2 -->

 <property>

  <name>dfs.ha.namenodes.mycluster</name>

  <value>nn1,nn2</value>

 </property>

 <!-- nn1的RPC通信地址 -->

 <property>

  <name>dfs.namenode.rpc-address.mycluster.nn1</name>

  <value>192.168.56.1:9000</value>

 </property>

 <!-- nn2的RPC通信地址 -->

 <property>

  <name>dfs.namenode.rpc-address.mycluster.nn2</name>

  <value>192.168.56.101:9000</value>

 </property>

 <!-- nn1的http通信地址 -->

 <property>

  <name>dfs.namenode.http-address.mycluster.nn1</name>

  <value>192.168.56.1:50070</value>

 </property>

 <!-- nn2的http通信地址 -->

 <property>

  <name>dfs.namenode.http-address.mycluster.nn2</name>

  <value>192.168.56.101:50070</value>

 </property>

 <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->

 <property>

  <name>dfs.namenode.shared.edits.dir</name>

  <value>qjournal://192.168.56.1:8485;192.168.56.101:8485;192.168.56.102:8485/mycluster</value>

 </property>

 <!-- 指定JournalNode在本地磁盘存放数据的位置 -->

 <property>

  <name>dfs.journalnode.edits.dir</name>

  <value>/opt/hadoop-2.8.0/tmp/journal</value>

 </property>

 <property>

  <name>dfs.ha.automatic-failover.enabled</name>

  <value>true</value>

 </property>

 <!-- 配置失败自动切换实现方式 -->

 <property>

  <name>dfs.client.failover.proxy.provider.mycluster</name>

  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

  </value>

 </property>

 <!-- 配置隔离机制,多个机制用换行分割,即每个机制暂用一行 -->

 <property>

  <name>dfs.ha.fencing.methods</name>

  <value>

   sshfence

   shell(/bin/true)

  </value>

 </property>

 <!-- 使用sshfence隔离机制时需要ssh免密码登陆 -->

 <property>

  <name>dfs.ha.fencing.ssh.private-key-files</name>

  <value>~/.ssh/id_rsa</value>

 </property>

 <!-- 配置sshfence隔离机制超时时间 -->

 <property>

  <name>dfs.ha.fencing.ssh.connect-timeout</name>

  <value>30000</value>

 </property>

 <!--指定namenode名称空间的存储地址 -->

 <property>

  <name>dfs.namenode.name.dir</name>

  <value>file:///opt/hadoop-2.8.0/hdfs/name</value>

 </property>

 <!--指定datanode数据存储地址 -->

 <property>

  <name>dfs.datanode.data.dir</name>

  <value>file:///opt/hadoop-2.8.0/hdfs/data</value>

 </property>

 <!--指定数据冗余份数 -->

 <property>

  <name>dfs.replication</name>

  <value>1</value>

 </property>

mapred-site.xml:

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

<!-- 配置 MapReduce JobHistory Server 地址 ,默认端口10020 -->

 <property>

  <name>mapreduce.jobhistory.address</name>

  <value>0.0.0.0:10020</value>

 </property>

 <!-- 配置 MapReduce JobHistory Server web ui 地址, 默认端口19888 -->

 <property>

  <name>mapreduce.jobhistory.webapp.address</name>

  <value>0.0.0.0:19888</value>

 </property>

yarn-site.xml:

 <property>

  <name>yarn.resourcemanager.ha.enabled</name>

  <value>true</value>

 </property>

 <!--开启自动恢复功能 -->

 <property>

  <name>yarn.resourcemanager.recovery.enabled</name>

  <value>true</value>

 </property>

 <!-- 指定RM的cluster id -->

 <property>

  <name>yarn.resourcemanager.cluster-id</name>

  <value>yrc</value>

 </property>

 <!--配置resourcemanager -->

 <property>

  <name>yarn.resourcemanager.ha.rm-ids</name>

  <value>rm1,rm2</value>

 </property>

 <!-- 分别指定RM的地址 -->

 <property>

  <name>yarn.resourcemanager.hostname.rm1</name>

  <value>192.168.56.1</value>

 </property>

 <property>

  <name>yarn.resourcemanager.hostname.rm2</name>

  <value>192.168.56.101</value>

 </property>

 <!-- <property> <name>yarn.resourcemanager.ha.id</name> <value>rm1</value> 

  <description>If we want to launch more than one RM in single node,we need 

  this configuration</description> </property> -->

 <!-- 指定zk集群地址 -->

 <property>

  <name>ha.zookeeper.quorum</name>

  <value>192.168.56.1:2181,192.168.56.101:2181,192.168.56.102:2181</value>

 </property>

 !--配置与zookeeper的连接地址-->

 <property>

  <name>yarn.resourcemanager.zk-state-store.address</name>

  <value>192.168.56.1:2181,192.168.56.101:2181,192.168.56.102:2181</value>

 </property>

 <property>

  <name>yarn.resourcemanager.store.class</name>

  <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

  </value>

 </property>

 <property>

  <name>yarn.resourcemanager.zk-address</name>

  <value>192.168.56.1:2181,192.168.56.101:2181,192.168.56.102:2181</value>

 </property>

 <property>

  <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>

  <value>/yarn-leader-election</value>

  <description>Optionalsetting.Thedefaultvalueis/yarn-leader-election

  </description>

 </property>

 <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

 </property>

vi  etc/hadoop/slaves:

192.168.56.1
192.168.56.101
192.168.56.102

环境变量

hadoop-env.sh和yarn-env.sh中添加JAVA_HOME:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home

 

启动Hadoop集群:

1)启动zookeeper集群: 分别在3个zookeeper服务器上执行: zkServer.sh start

2)启动journalnode集群: 在第一台机器上执行: sbin/hadoop-daemons.sh start journalnode

3)格式化zkfc,让在zookeeper中生成ha节点:在01机器上执行:hdfs zkfc -formatZK

4)格式化hdfs:  在01机器上: hadoop namenode -format

5)启动NameNode: 在01上: sbin/hadoop-daemon.sh start namenode

                               在02上: bin/hdfs namenode -bootstrapStandby

                                            sbin/hadoop-daemon.sh start namenode

6)启动datanode集群:在01上: sbin/hadoop-daemons.sh start datanode

7)启动yarn集群: 在01上:sbin/start-yarn.sh

8)启动ZKFC:  在01上: sbin/hadoop-daemons.sh start zkfc

Web界面

启动完成后可以访问:

http://192.168.56.1:50070

http://192.168.56.101:50070

http://192.168.56.1:8088

 

© 著作权归作者所有

jwyming
粉丝 1
博文 11
码字总数 2958
作品 0
程序员
私信 提问
Live Node数量正确,但是DataNodes列表只能显示一条

Centos环境搭建hadoop2集群,hadoop版本为2.8.0,规划了三个datanode节点,搭建好后通过web平台可以看到LiveNode为3,但是点进去看DataNode列表只能显示一个节点(node name为 localhosl) ...

interceptor
2017/05/05
556
2
Centos下docker搭建Hadoop集群

  随着业务发展需要,数据量的逐步提升,需要用到Hadoop来处理一些数据,所以搭建一个Hadoop集群,搭建Hadoop集群需要多台主机,但是由于资源有限,所以刚好可以利用近些年比较火的docker来...

大数据头条
2017/12/28
0
0
CentOS 下 Hadoop集群搭建

1 下载hadoop 2 安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建authorized_keys文件 2.6将autho...

zxszxs
2018/06/15
15
0
Hadoop-cluster 集群完全分布式环境搭建

安装准备 1) 3台centOS7.0系统 ecs 2) 2.8.0 hadoop 安装包 准备工作 首先 在ip_01主机上将/etc/hosts文件进行ip映射 使用scp命令将ip_01上的 hosts文件 复制到其它节点 ⚠️ 最好在覆盖之前...

秦琼
2017/04/26
32
0
Java 运行HBase 例子报错

请问Java连接HBase报这个错怎么解决: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.hasKerberosTicket(Ljavax......

驛路梨花醉美
2017/05/26
2.6K
2

没有更多内容

加载失败,请刷新页面

加载更多

计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
今天
5
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
今天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
今天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
今天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
今天
18
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部