第八讲:配置外界可以访问虚拟机里面的HDFS及YARN

原创
08/06 02:12
阅读数 2.3K

本节通过配置实现外界访问虚拟机Centos6.4里面的HDFS及YARN。为后续的java读写HDFS及操作YARN做准备

步骤有:

1、修改主机Windos7的网络配置

2、修改虚拟机Centos6.4里面的网络配置

3、修改虚拟机Centos6.4里面的防火墙配置

一、修改网络配置

我这边的电脑情况是:主机用的是Win7系统,Win7系统安装了VMware Workstation Pro,在VMware Workstation Pro里面安装了Centos6.4。

当然,VM默认的是NAT模式,我们可以把这个模式改成”桥接“模式,桥接模式的话,Win7和Centos可以配置成一个网段,但是如果你的Win7网络设置的是自动获取路由器的IP地址的话,后续也需要经常修改Win7和Centos的IP。

其实我们在安装VM软件的时候,这个虚拟机会自动帮我们安装若干个虚拟网卡,我们可以保留NAT网络模式,只需要把虚拟网卡改成固定IP并且把Centos的IP改成固定IP就可以了。最终的效果,只要保证Centos和Win7能够相互ping得通就没问题。所以我们这次针对的是NAT模式,如下所示。

下面是我们看到的在Win7上面的虚拟网卡,

我们看到上面有两个虚拟网卡,也就是VMnet1、VMnet8,因为我系统里面安装了几个虚拟机,那么到底是哪个才对应我正常用的Centos6.4呢,可以进入centos里面通过ip add 命令来看,而在win7里面可以通过ipconfig命令来看。在centos里面,inet对应的ipv4,inet6对应的是ipv6。

由上图我们可以知道,centos里面的eth2对应的就是win7里面的VMnet8,所以,我们首先把VMnet8设置成固定IP,设置如下,把网关去掉,让它成为centos的网关。

然后进入centos里面设置网卡信息:

因为我们刚才用ip add 命令查看到的是eth2网卡,所以直接选择eth2 后点击编辑按钮edit

如下图所示,我们可以修改连接点的名称,然后切换到IPv4面板,在Method里面下拉选择”手动设置“,也就是英文Manual,然后点击Add按钮:

分布输入address ”IP地址“,netmask”掩码“,getway”网关“,最后点击应用apply按钮

点击应用后,我们可以看到网络应用图标已经显示网络连接成功了。如果不成功的话,可以再次进入界面再点击一次apply按钮。

最后我们测试下win7和centos是否互通。

在centos终端里面输入ping 192.168.74.1  可以看到有数据返回,说明可以连接,(按CTRL+C可以断开数据测试,否则会一直显示连接状况)。

在win7的CMD命令下输入ping 192.168.74.3 有数据返回,说明正常。

二、修改hadoop配置

把hadoop安装目录下面的core-site.xml里面的localhost改成固定IP

然后启动hadoop的namenode和datanode

然后在centos里面的火狐浏览器访问192.168.74.3:50070 可以看到可以正常访问hdfs

此时我们切换到win7系统,打开浏览器输入192.168.74.3:50070 看能否正常访问,可见是失败的。

原因是因为centos里面的防火墙我们没有开放对应的端口。所以我们还需要设置防火墙端口。

三、修改防火墙配置

首先查看开放的端口:

我们可以看到50070端口没有在上面。那么我们需要将50070端口通过命令开放,或者也可以直接修改配置文件。我们下面是通过命令实现,注意要切换到管理员账户。或者一开始就要用管理员登陆。

上面的第一行是调用系统根目录下面的/sbin/iptables 配置命令,把50070端口设置为开放,centos6版本里面,防火墙的命令是iptables 如果是centos7的话,防火墙的命令是firewall。当然,你直接写成 iptables  -I ......也是没问题的,主要是避免其他地方也有iptables的可执行程序,所以一开始就写全路径。

上面的第二行是保存防火墙的配置设置。

上面的第三行是让防火墙重启,当然,使用service iptables restart 也可以重启。

然后我们在通过命令看下50070端口是否已经开启:

当然,上面的命令的前面地址,不写完也是可以的,本来系统就默认配置了,主要是防止后续人为的配置冲突而已,比如,下面的命令也可以查看:

重启后,我们再切换到win7的浏览器,输入网址192.168.74.3:50070 我们可以看到可以正常访问了。

四、启动yarn服务

我们接着启动yarn服务

然后看下centos和win7的浏览器是否都可以访问yarn,首先是centos里面的浏览器:

我们看到访问失败,是因为我们还没有配置 /etc/hadoop/hadoop-2.9.2/etc/hadoop/yarn-site.xml  红色的路径每个人安装的都不同,  在这个yarn-site.xml文档里面,把localhost改成对应的IP地址

修改配置文件后,先关闭yarn服务:

然后启动yarn服务,启动后都建议用jps看看是否真的启动了,yarn会至少有四个进程,分别是nodemanager、namenode、datanode、resourcenamanger:

centos浏览器可以正常访问:

五、开放端口

同样,我们需要在centos防火墙开放8088端口:

开放后,我们在win7开访问,可见我们可以正常访问了:

至此,我们后续将在win7使用eclipse搭建java程序,通过以上的两个接口来访问hdfs及yarn。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
在线直播报名
返回顶部
顶部