文档章节

Hadoop集群搭建-01前期准备

虚拟世界的懒猫
 虚拟世界的懒猫
发布于 07/21 18:20
字数 1629
阅读 91
收藏 1

Hadoop集群搭建-05安装配置YARN

Hadoop集群搭建-04安装配置HDFS 

Hadoop集群搭建-03编译安装hadoop

Hadoop集群搭建-02安装配置Zookeeper

Hadoop集群搭建-01前期准备

整个搭建hadoop集群的流程,包括

  1. 前期准备
  2. 安装zookeeper并配置环境
  3. 编译安装hadoop并启动
  4. 安装HDFS管理namenode和dataname管理集群硬盘资源
  5. 安装启动yarn建立MapReduce管理cpu和内存资源

01前期准备:

1.部署环境

  • VMware15
  • CentOS7
  • jdk8

 首先启动一台centos7的虚拟机,配置华为云yum源

[root@localhost ~]# cp -a /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak
[root@localhost ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo https://repo.huaweicloud.com/repository/conf/CentOS-7-reg.repo
[root@localhost ~]# yum clean all
[root@localhost ~]# yum makecache
[root@localhost ~]# yum update -y

然后安装一些乱七八糟的常用软件

[root@localhost ~]# yum install -y openssh-server vim gcc gcc-c++ glibc-headers bzip2-devel lzo-devel curl wget openssh-clients zlib-devel autoconf automake cmake libtool openssl-devel fuse-devel snappy-devel telnet unzip zip net-tools.x86_64 firewalld systemd

2.关闭虚拟机的防火墙和SELinux设置

[root@localhost ~]# firewall-cmd --state
[root@localhost ~]# systemctl stop firewalld.service
[root@localhost ~]# systemctl disable firewalld.service
[root@localhost ~]# systemctl is-enabled firewalld.service
[root@localhost ~]# /usr/sbin/sestatus -v  查看selinux的状态
[root@localhost ~]# vim /etc/selinux/config
#修改状态为关闭
SELINUX=disabled
[root@localhost ~]# reboot

3.安装jdk8并配置环境变量

下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

[root@localhost ~]# rpm -ivh jdk-8u144-linux-x64.rpm
[root@localhost ~]# vim /etc/profile
#修改环境变量,在文件末尾添加如下
export JAVA_HOME=/usr/java/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

修改后只是对应此次用户此次会话生效,希望永久全局生效,就要

[root@localhost ~]# source /etc/profile

4.安装ntpdate服务,每次虚拟机挂起重新启用后方便同步时间

[root@localhost ~]# yum install -y ntp-tools
[root@localhost ~]# ntpdate ntp1.aliyun.com

5.创建hadoop用户和用户组并加入wheel组

[root@localhost ~]# useradd hadoop
[root@localhost ~]# passwd hadoop

只允许wheel组内用户可以通过su - root命令登录root用户,提高安全性

[root@localhost ~]# sed -i 's/#auth\t\trequired\tpam_wheel.so/auth\t\trequired\tpam_wheel.so/g' '/etc/pam.d/su'
[root@localhost ~]# cp /etc/login.defs /etc/login.defs_bak
[root@localhost ~]# echo "SU_WHEEL_ONLY yes" >> /etc/login.defs

添加hadoop用户进wheel组

[root@localhost ~]# gpasswd -a hadoop wheel
[root@localhost ~]# cat /etc/group | grep wheel     查看hadoop有没有加入到wheel组

查看用户组配置

6.配置虚拟机的hosts文件

[root@localhost ~]# vim /etc/hosts
192.168.10.3 nn1.hadoop   #这个是本机ip,主机名稍后一起配置
192.168.10.4 nn2.hadoop
192.168.10.5 s1.hadoop
192.168.10.6 s2.hadoop
192.168.10.7 s3.hadoop

7.用虚拟机克隆功能克隆另外4台虚拟机

完成后分别更改每一台的主机名并配置静态ip,要求和上面hosts文件内的一致并对应

[root@localhost ~]# hostnamectl set-hostname nn1.hadoop
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"      #这里修改为static
IPADDR="192.168.10.3"   #这里添加为你的每台虚拟机对应的ip
NETMASK="255.255.255.0" #添加
GATEWAY="192.168.10.2"  #添加为你虚拟机内的网关
DNS="192.168.10.2"      #添加
NM_CONTROLLED="no"      #添加,必然改完文件自动生效,可能直接网络就挂掉了
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="49f05112-b80b-45c2-a3ec-d64c76ed2d9b"
DEVICE="ens33"
ONBOOT="yes"
[root@localhost ~]# systemctl stop NetworkManager.service   停止网络管理服务
[root@localhost ~]# systemctl disable NetworkManager.service 开机禁止自启动
[root@localhost ~]# systemctl restart network.service  重启网络服务

至此我们应该有五台虚拟机,都按照如下ip和主机名配置对应好,五台都设置好了hosts文件

192.168.10.3 nn1.hadoop 
192.168.10.4 nn2.hadoop
192.168.10.5 s1.hadoop
192.168.10.6 s2.hadoop
192.168.10.7 s3.hadoop

然后防火墙、selinux都已经关闭,都正确安装jdk8并配置好环境变量,都正确新建了hadoop用户组并将其添加进wheel组。

8.配置五台机器互相ssh免密登录

上边的操作都是在root用户下进行的,现在切换到hadoop用户下进行以后的几乎所有操作。 

[root@nn1 ~]# su - hadoop     注意这里的“-”,意味着用户和环境变量同时切换
[hadoop@nn1 ~]$    这时候代表进入到了hadoop用户,还有#和$分别代表root用户和普通用户的身份区别

开始搭建ssh免密

思路是首先在每一台机器上分别创建各自的key,最后把这些key.pub汇总到~/.ssh/authorized_keys文件中再一起分发给所有机器,这时候就实现了五台机器的互相免密ssh访问。

[hadoop@nn1 ~]$ pwd 查看当前路径,确保在hadoop用户的home下
/home/hadoop 
[hadoop@nn1 ~]$ mkdir .ssh
[hadoop@nn1 ~]$ chmod 700 ./.ssh
[hadoop@nn1 ~]$ ll -a
drwx------  2 hadoop hadoop 132 7月  16 22:13 .ssh
[hadoop@nn1 ~]$ ssh-keygen -t rsa   创建key文件

这时候完成了nn1机器的设置(nn1作为我们以后的主要操作机器)。按照上边的步骤把剩下的4台机器也弄好,然后分别把其他的4台机器的./ssh/id_rsa.pub重命名(防止重复和以外替换),再发送到nn1的./ssh/下

[hadoop@nn2 ~]$ scp ~/.ssh/id_rsa.pub hadoop@nn1.hadoop ~/.ssh/id_rsa.pubnn2

这时候nn1的~/.ssh/下应该有包括自己在内的5个pub文件(不重名),然后把他们都追加到下边的文件中

[hadoop@nn1 ~]$ touch authorized_keys
[hadoop@nn1 ~]$ chmod 600 authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pub >> authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pubnn2 >> authorized_keys
[hadoop@nn1 ~]$ cat ./ssh/id_rsa.pubs1 >> authorized_keys
…………

然后最后把这个文件批量发送到其余4台机器上(忘了写批量脚本了,所以用scp命令依次发送吧)

至此5台机器的ssh免密互相访问配置结束,我们可以分别测试(略)。

9.批量脚本编写

因为有5台机器啊,很多操作都要一起动,所以需要批量执行脚本。

#文件名:ips
"nn1.hadoop" "nn2.hadoop" "s1.hadoop" "s2.hadoop" "s3.hadoop"
#!/bin/bash
#文件名:ssh_all.sh
RUN_HOME=$(cd "$(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${RUN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="ssh $SSH_USER@$i \"$*\""
    echo $f_cmd
    if eval $f_cmd; then
        echo "OK"
    else 
        echo "FAIL"
    fi
done
#!/bin/bash
#文件名:ssh_root.sh
RUN_HOME=$(cd "$(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${RUN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="ssh $SSH_USER@i ~/exe.sh \"$*\""
    echo $f_cmd
    if eval $f_cmd; then
        echo "OK"
    else 
        echo "FAIL"
    fi
done
#文件名exe.sh
cmd=$*

su - <<EOF
$cmd

EOF
#!/bin/bash
RUN_HOME=$(cd "(dirname "$0")"; echo "${PWD}")

NOW_LIST=(`cat ${UN_HOME}/ips`)

SSH_USER="hadoop"
for i in ${NOW_LIST[@]}; do
    f_cmd="scp $1 $SSH_USER@i:$2"
    echo $f_cmd
    if eval $f_cmd; then
        echo "ok"
    else
        echo "FAIL"
    fi
done

前期准备工作结束,下一篇开始安装配置zookeeper

© 著作权归作者所有

虚拟世界的懒猫

虚拟世界的懒猫

粉丝 3
博文 43
码字总数 30698
作品 0
唐山
个人站长
私信 提问
Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分...

虚拟世界的懒猫
07/22
40
0
Hadoop集群搭建-05安装配置YARN

Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 先保证集群5台虚拟机, nn1 nn2 s1 s2 s3 hadoop 是 是 是 ...

虚拟世界的懒猫
07/23
43
0
Hadoop集群搭建-03编译安装hadoop

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 hadoop的编译和安装是直接...

虚拟世界的懒猫
07/22
29
0
Hadoop集群搭建-02安装配置Zookeeper

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 这一篇接着记录集群搭建,...

虚拟世界的懒猫
07/21
48
0
Hadoop 2.6.4分布式集群环境搭建

一、软件准备 VMware-Fusion-8.0.0-2985594.dmg ubuntu-14.04.4-desktop-amd64.iso 二、集群机器准备 在VMware Fusion中安装三台虚拟机,如下: 在安装三台虚拟机的时候,创建专门用于 Hado...

JackieYeah
2016/04/13
10.6K
4

没有更多内容

加载失败,请刷新页面

加载更多

Spring Cloud Alibaba 实战(二) - 关于Spring Boot你不可不知道的实情

0 相关源码 1 什么是Spring Boot 一个快速开发的脚手架 作用 快速创建独立的、生产级的基于Spring的应用程序 特性 无需部署WAR文件 提供starter简化配置 尽可能自动配置Spring以及第三方库 ...

JavaEdge
今天
7
0
TensorFlow 机器学习秘籍中文第二版(初稿)

TensorFlow 入门 介绍 TensorFlow 如何工作 声明变量和张量 使用占位符和变量 使用矩阵 声明操作符 实现激活函数 使用数据源 其他资源 TensorFlow 的方式 介绍 计算图中的操作 对嵌套操作分层...

ApacheCN_飞龙
今天
7
0
五、Java设计模式之迪米特原则

定义:一个对象应该对其他对象保持最小的了解,又叫最小知道原则 尽量降低类与类之间的耦合 优点:降低类之间的耦合 强调只和朋友交流,不和陌生人说话 朋友:出现在成员变量、方法的输入、输...

东风破2019
昨天
23
0
jvm虚拟机结构

1:jvm可操作数据类型分为原始类型和引用类型,因此存在原始值和引用值被应用在赋值,参数,返回和运算操作中,jvm希望在运行时 明确变量的类型,即编译器编译成class文件需要对变量进行类型...

xpp_ba
昨天
5
0
聊聊nacos Service的processClientBeat

序 本文主要研究一下nacos Service的processClientBeat Service.processClientBeat nacos-1.1.3/naming/src/main/java/com/alibaba/nacos/naming/core/Service.java public class Service ex......

go4it
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部