hadoop完全分布式部署

2019/04/10 10:10
阅读数 10

###1.我们先看看一台节点的hdfs的信息:(已经安装了hadoop的虚拟机:安装hadoophttps://www.cnblogs.com/lyx666/p/12335360.html) ####start-dfs 打开hdfs需要启动的服务 ####然后再浏览器输入http://虚拟机ip地址:50070

####问下滑: 可以看到以下相关信息 ####可以看到集群总容量大概为10G,而该集群只有一台机器,所以集群容量=该机器容量,可以看看这台虚拟机的硬盘是不是10G. ####df -h / #确实是10G ###2.接下来就要扩容该集群的容量,将这台虚拟机克隆(克隆步骤省略) ###3.克隆机需要先配置以下 ####把克隆的dfs文件夹清空 将该文件夹下的数据清空:rm -rf *

####网络ip: BOOTPROTO=static 原本为DHCP ONBOOT=yes 原本为no IPADDR=192.168.43.62 ip地址 在网段里就行 NETMASK=255.255.255.0 子网掩码 GATEWAY=192.168.43.1 网关 需要查看主机的ipv4地址配置 DNS1=8.8.8.8 谷歌的dns解析

改完后重启网络:systemctl restart network

####修改主机名 我这里是已经修改好了的,你们原本应该是localhost的主机名,我修改成lyx-62 修改后记得重启这台虚拟机:reboot

####配置ip和主机名映射 还需要加上被克隆的虚拟机的ip和主机映射 【注意:这里两台都要添加修改】

修改后记得重启这两台虚拟机:reboot

####配置ssh免密通信 (lyx-62)ssh-keygen #创建密钥对# (lyx-62)ssh-copy-id lyx-62 #将公钥复制到lyx-62 也就是本机 ####注意这里另一台也需要(lyx-61):ssh-copy-id lyx-62 这样两台就能免密通信

####修改hdfs-site.xfs配置文件 副本数修改为3【注意两台机器都需要修改】

 <configuration>
          <property>
                  <name>dfs.replication</name>
                  <value>3</value>
          </property>
  </configuration>

####将克隆机主机名添加到slaves配置文件中 也就是加入到集群中 这里修改的是【被克隆的】slaves.xml文件

###3.只启动被克隆的hdfs需要的服务

start-dfs.sh  #可以看到lyx-62启动了datanode服务,说明它已经加入到这个集群了 所以它的硬盘也被加入到集群了

####接下来我们在回过头来看看集群信息 可以发现硬盘容量增加了,说明lyx-62这台也被加入到集群了。

原文出处:https://www.cnblogs.com/lyx666/p/12361906.html

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部