hadoop-3.2.0------>入门十 完全分布式环境搭建

原创
04/15 18:04
阅读数 108

一、将虚拟机全部设置为静态ip

        详情查看:https://my.oschina.net/u/3535099/blog/3125614

二、将主机的host文件中添加所有子节点

         命令:vi /etc/hosts

                

三、编写集群分发脚本scp 

                1、scp  安全拷贝

                    scp定义:scp可以实现服务器之间的的数据拷贝

                    语法:scp -r $pdir/$fname $user@hadoop$host:$pdir/$fname

                                scp:命令

                                -r:递归

                                $pdir/$fname:要拷贝的文件夹路径/名称

                                $user@hadoop$host:$pdir/$fname:目的用户@主机/目的文件夹路径/名称

                    例子:将hadoop上的java文件夹拷入hadoop01(相当于hadoop主动将文件推送到hadoop01上)

                                

                                获取hadoop上的java文件夹并拷入hadoop02(相当于hadoop02从hadoop中拉取这个文件)

                                注意:hadoop的主机名称及ip需要在hadoop02的/etc/hosts文件中进行配置(如第二步配置)

                                            图中的./代表拉取到当前目录中

                            

四、编写集群分发脚本rsync

                1、rsync远程同步工具

                     rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号连接的优点。

                2、rsync和scp的区别:用rsync做文件的复制要比scp速度快,rsync只做差异文件更新,scp是将所有文件复制过去

                3、语法:rsync  -rvl $pdir/$fname $user@hadoop$host:$pdir/$fname

                                rsync :命令

                                -rvl:选项参数

                                $pdir/$fname:要拷贝的文件夹路径/名称

                                $user@hadoop$host:$pdir/$fname:目的用户@主机/目的文件夹路径/名称

                4、选项参数说明:

                                -r:递归

                                -v:显示复制过程

                                -l:拷贝符号连接

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部