文档章节

1)hadoop集群搭建

JPblog
 JPblog
发布于 2016/07/21 17:36
字数 489
阅读 23
收藏 1

操作系统环境

    CentOS7.2

网络环境

hostname ip role
hadoop001 192.168.252.164

hdfs:namenode,datanode,sceondnamenode

yarn:resourcemanager,nodemanager

hadoop002 192.168.252.165

hdfs:datanode

yarn:nodemanager

hadoop003 192.168.252.166

hdfs:datanode

yarn:nodemanager

软件包:

    jdk-7u55-linux-x64.tar.gz

    hadoop-2.6.4.tar.gz

 

1.准备工作

1.1关闭防火墙

systemctl stop firewalld
chkconfig firewalld off

1.2关闭selinux

vi /etc/selinux/config   

   SELINUX=disabled

1.3设置网络

vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
TYPE=Ethernet
BOOTPROTO=static
NAME=eno16777736
DEVICE=eno16777736
ONBOOT=yes
IPADDR=192.168.252.164
NETMASK=255.255.255.0
GATEWAY=192.168.252.1
systenctl restart network

1.4设置hostname

vi /etc/sysconfig/network

HOSTNAME=hadoop001

1.5设置hosts

vi /etc/hosts
192.168.252.164 hadoop001
192.168.252.165 hadoop002
192.168.252.166 hadoop003

1.6配置互信

生成密钥文件(~/.ssh目录下生成id_rsaid_rsa.pub)

ssh-keygen -t rsa

复制公钥 (~/.ssh目录下

cp id_rsa.pub authorized_keys

每个节点执行完毕之后,合并各个节点的authorized_keys,并用合并后的文件覆盖原有authorized_keys。

1.7安装jdk

tar zxvf jdk-7u55-linux-x64.tar.gz

配置java环境变量

vi ~/.bashrc
export JAVA_HOME=/usr/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source ~/.bashrc

 

2.节点一搭建

2.1解压hadoop(/opt目录下)

tar zxvf hadoop-2.6.4.tar.gz
mv hadoop-2.6.4.tar.gz hadoop

2.2配置环境变量

vi /etc/profile
export JAVA_HOME=/usr/jdk1.7.0_55
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

2.3修改配置

core-site.xml

<property>
  <name>fs.default.name</name>
  <value>hdfs://hadoop001:9000</value>
</property>

hdfs-site.xml

<property>
  <name>dfs.name.dir</name>
  <value>/usr/local/data/namenode</value>
</property>

<property>
  <name>dfs.data.dir</name>
  <value>/usr/local/data/datanode</value>
</property>

<property>
  <name>dfs.tmp.dir</name>
  <value>/usr/local/data/tmp</value>
</property>

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

mapred-site.xml

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

yarn-site.xml

<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>hadoop001</value>
</property>

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

Slaves

hadoop001
hadoop002
Hadoop003

 

 

3.节点二、三搭建

3.1复制hadoop目录到二、三节点

scp -r hadoop 192.168.252.165:/opt
scp -r hadoop 192.168.252.166:/opt

3.2复制环境变量文件

scp -r profile 192.168.252.165:/etc
scp -r profile 192.168.252.166:/etc

3.3建立data目录

mkdir /usr/local/data

 

4.启动

4.1格式化HDFS

    hdfs namenode -format

4.2启动hdfs集群

    start-dfs.sh

4.3验证

    jps命令或50070端口

        hadoop001:namenode\datanode\sceondnamenode

        hadoop002:datanode

        hadoop003:datanode

4.4启动yarn

    start-yarn.sh

4.5验证:

    jps,8088端口

    hadoop001:resourcemanager\nodemanager

    hadoop002:nodemanager

    hadoop003:nodemanager

 

© 著作权归作者所有

JPblog
粉丝 14
博文 65
码字总数 42633
作品 0
朝阳
程序员
私信 提问
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0
HBase1.2.6集群部署教程

1.引言 在前面的博客中我们介绍HBase的伪分布安装,在本篇博客中就主要介绍一下HBase的集群部署,由于HBase是一款Hadoop之上的NoSQL数据库,因此我们在安装HBase之前需要首先部署Hadoop的集群...

Liri
2017/12/16
0
0
(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter
2017/12/15
0
0
Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri
2017/12/16
0
0
基于CentOS的Hadoop和Spark分布式集群搭建过程

1. 软件版本,IP地址,修改主机名和hosts文件 (1)软件版本:CentOS 7.0;JDK 8u141;Hadoop 2.7.3;Scala 2.11.8;Spark 2.2.0。 (2)IP地址:192.168.106.128(主节点);192.168.106.1...

shengshengwang
2017/07/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

八、RabbitMQ的集群原理

集群架构 写在前面 RabbitMQ集群是按照低延迟环境设计的,千万不要跨越WAN或者互联网来搭建RabbitMQ集群。如果一定要在高延迟环境下使用RabbitMQ集群,可以参考使用Shovel和Federation工具。...

XuePeng77
今天
1
0
mac系统下,brew 安装mysql,用终端可以连接,navicat却连接不上?

问题: 1.报错? 2059 - Authentication plugin 'caching_sha2_password' cannot be loaded: dlopen(../Frameworks/caching_sha2_password.so, 2): image not found 2.自己通过设置,已经把密......

写bug的攻城狮
昨天
2
0
老生常谈,HashMap的死循环

问题 最近的几次面试中,我都问了是否了解HashMap在并发使用时可能发生死循环,导致cpu100%,结果让我很意外,都表示不知道有这样的问题,让我意外的是面试者的工作年限都不短。 由于HashMap...

群星纪元
昨天
5
0
拉普拉斯算子

拉普拉斯算子是二阶微分算子。 我们知道,一维离散信号一阶微分公式如下: 相应的,一维离散信号二阶微分公式如下: 由于图像有x和y两个方向,因此图像信号属于二维离散信号。其在x,y两个...

yepanl
昨天
3
0
记录"正则表达式"

详细请查看我的博客:https://blog.enjoytoshare.club/article/RegularExpression.html 1 写在前面 正则表达式(Regular Expression)在代码中常常简写为regex。正则表达式通常被用来检索、替...

wugenqiang
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部