文档章节

安装配置HA版hadoop

 陌生的熟悉人
发布于 2017/06/07 22:54
字数 1322
阅读 9
收藏 0

1、下载hadoop2.6.5软件

2、准备安装完成jdk配置好的主机4台以上

        1)配置主机名和IP地址的映射

                配置方法

                    1)vi /etc/hosts

                    2)在此文件的末尾添加配置主机名和ip地址映射

                        192.168.23.5  node1

                        192.168.23.6  node2

                        ……

                    3)保存退出

        2)完成免密钥登录

                1)生成公钥

                        命令:ssh-keygen -t dsa -P " -f ~/.ssh/id_dsa

                2)追加公钥到authorized_keys文件中

                        命令:cat ~./ssh/id_dsa.pub >> ~./ssh/authorized_keys

                        注:每台电脑都要做免密钥登录

3、划分主机功能

  NN-1 NN-2 DN ZK ZKFC JNN
node1 *       * *
node2   * * * * *
node3     * *   *
node4     * *    

4、安装zookeeper软件

    1)选择划分好要安装zookeeper的任意一台主机下载zookeeper软件

    2)解压zooleeper到指定目录下

            解压命令:tar xf zookeeper-版本号.tar.gz

      3)修改zoo.cfg

                注:默认安装包无此文件需复制并重命名zoo_sample.cfg为zoo.cfg

            1).修改此文件下的dataDir=XXXX

                  注:该目录需用户自定义一个路径。

              2).在该文件的末尾添加分配好的3个主机名

                     server.1=主机名:2888:3888

                     server.2=主机名:2888:3888

                     server.3=主机名:2888:3888

         4)保存退出该文件

        5)在zoo.cfg中设置的dataDir路径下创建一个文件并命名为myid

                编辑myid文件

                在此文件中首行输入“1”即可保存退出。

        6)把编辑好的zookeeper文件夹复制到另外两台主机上

                网络复制命令:scp ”zookeeper路径“ 主机名:`pwd`

        7)在另外两台主机上分别新建或者复制配置好的主机上面的dataDir路径下的myid文件

                分别修改myid文件内容为“2”和“3”;退出保存即可。

                注:三台主机的文件及dataDir目录结构要一致

        8)每台主机启动zookeeper

                启动命令:zkServer.sh start

        9)当三台主机启动完成zookeeper后查看zookeeper服务状态

                查看zookeeper状态命令:zkServer.sh status

                注:查看三台主机zookeeper服务状态时

                    三台主机中有一台主机状态为:leader

                    两台主机状态为:follower

                    表示zookeeper启动成功

5、安装配置hadoop软件

        1)在第一台主机上面解压下载完成的hadoop安装包

            解压命令:tar xf hadoop-版本号.tar.gz

            复制解压好的文件夹hadoop-版本号到一个自定义路径下更名为hadoop

        2)进入hadoop文件夹下的配置文件文件夹

                    配置文件的路径:hadoop/etc/hadoop

       3)修改配置文件下的所有*.env.sh文件中的包括”JAVA_HOME=“的路径

                注:JAVA_HOME路径是必须修改为jdk的绝对路径

        4)修改配置文件hdfs-site.xml

                在该文件内的<configuration></configuration>中间添加配置项

                配置项为:

            <!--这个配置信息意为block块副本数为3个-->

<property>

 <name>dfs.replication</name>

 <value>3</value>

</property>

<!--这个配置信息意为统一两台namenode的主机名-->

<property>

 <name>dfs.nameservices</name>

 <value>mycluster</value>

</property>

<!--这个配置信息意为两台namenode主机别名-->

<property>

 <name>dfs.ha.namenodes.mycluster</name>

 <value>nn1,nn2</value>

</property>

<!--这个配置信息意为第一台namenode主机地址-->

<property>

 <name>dfs.namenode.rpc-address.mycluster.nn1</name>

 <value>主机名1:8020</value>

</property>

<!--这个配置信息意为第二台namenode主机地址-->

<property>

 <name>dfs.namenode.rpc-address.mycluster.nn2</name>

 <value>主机名2:8020</value>

</property>

<!--这个配置信息意为第一台namenode主机访问地址-->

<property>

 <name>dfs.namenode.http-address.mycluster.nn1</name>

 <value>主机名1:50070</value>

</property>

<!--这个配置信息意为第二台namenode主机访问地址-->

<property>

 <name>dfs.namenode.http-address.mycluster.nn2</name>

 <value>主机名2:50070</value>

</property>

<!--这个配置信息意为那三台主机是journalNode-->

<property>

 <name>dfs.namenode.shared.edits.dir</name>

 <value>qjournal://主机1:8485;主机2:8485;主机3:8485/mycluster</value>

</property>

 

<!--这块配置信息意为配置主机间的心跳机制-->

<property>

 <name>dfs.client.failover.proxy.provider.mycluster</name>

 <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property>

 <name>dfs.ha.fencing.methods</name>

 <value>sshfence</value>

</property>

<!--这个配置信息意为跳转时需要访问私钥文件-->

<property>

 <name>dfs.ha.fencing.ssh.private-key-files</name>

 <value>/root/.ssh/id_dsa</value>

</property>

<!--这个配置信息意为开启HA模式-->

<property>

  <name>dfs.ha.automatic-failover.enabled</name>

  <value>true</value>

</property>

保存退出该文件

5)修改配置文件core-site.xml

在该文件内的<configuration></configuration>中间添加配置项

配置项为:

<!--这个配置信息意为读取hdfs-site.xml中配置的两台namenode统一别名-->

<property>

 <name>fs.defaultFS</name>

 <value>hdfs://mycluster</value>

</property>

<!--这个配置信息意为通知hadoop那些主机安装了zookeeper-->

<property>

  <name>ha.zookeeper.quorum</name>

  <value>node2:2181,node3:2181,node4:2181</value>

</property>

 

<!--这个配置信息意为指定hadoop运行文件位置-->

<property>

<name>hadoop.tmp.dir</name> 

<value>/var/hadoop/ha</value>

</property>

保存退出

6)把hadoop整个文件夹复制到另外3台主机上

7)启动hadoop

注:第一次启动时要按以下步骤启动

1)jps检查是否启动zookeeper

如已启动并主机间通信正常忽略此步骤

如未启动请按4步骤介绍启动

2)在分配为journalnode的主机上分别运行

hadoop-daemon.sh start journalnode 命令,启动journalnode

3)在第一台namenode上格式化namenode

命令:hdfs namenode -format

留意格式化是否报错,如无报错继续下续操作

4)启动第一台namenode

命令:hadoop-daemon.sh start namenode

5)启动第二台namenode主机

命令:hdfs namenode –bootstrapStandby

6)启动hadoop

命令:start-dfs.sh

7)格式化zkfc

命令:hdfs zkfc -formatZK

8)启动zkfc

命令:hadoop-daemon.sh start zkfc

1)启动zookeeper

命令:zkServer.sh start

2)启动hadoop

命令:start-dfs.sh

 

© 著作权归作者所有

粉丝 0
博文 1
码字总数 1322
作品 0
东城
私信 提问
hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera,hortonworks,mapR,华为,DKha...

左手的倒影
2018/09/11
35
0
【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程,实现NameNode HA、ResourceManager HA高可靠性

最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群,采用了最新的稳定版本2.8,并配置了NameNode、ResourceManager的HA高可用,方便日常对Hadoop的研究与测试工作。详细的搭建过程如下...

雪饼
2017/06/20
7.3K
21
【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程,实现NameNode HA、ResourceManager HA高可靠性...

最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群,采用了最新的稳定版本2.8,并配置了NameNode、ResourceManager的HA高可用,方便日常对Hadoop的研究与测试工作。详细的搭建过程如下...

implok
2018/04/13
0
0
Hadoop 2.6.0 HA高可用集群配置详解

1 Hadoop HA架构详解 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启...

不语者
2016/11/03
314
0
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
今天
875
11
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
今天
15
0
计算机实现原理专题--二进制减法器(二)

在计算机实现原理专题--二进制减法器(一)中说明了基本原理,现准备说明如何来实现。 首先第一步255-b运算相当于对b进行按位取反,因此可将8个非门组成如下图的形式: 由于每次做减法时,我...

FAT_mt
昨天
6
0
好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
昨天
7
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部