hadoop-3.2.0------>入门十三 完全分布式群起集群

原创
04/18 15:56
阅读数 103

配置hadoop集群启动脚本

        1、进入hadoop根目录下的etc/hadoop中

        2、vi workers(3.0之后)

              vi salves(2.0之后)

                注意:3.0之后的版本是修改 workers,2.0的版本是修改salves

                

        3、分发到其他节点

               xync workers

        4、启动dfs(在hadoop01上启动)

                sbin/start-dfs.sh

        5、启动报错如下

            

        6、 在hadoop根目录的 /sbin路径下:
                将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数

                    命令:

vi sbin/start-dfs.sh 
vi sbin/stop-dfs.sh

                    添加配置                

HDFS_DATANODE_USER=root 
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

        7、查看所有机器节点是否启动

                    命令:jps

    

    

    

        8、启动yarn(在hadoop02上启动,因为 ResourceManager 配置在hadoop02上,yarn运行在 ResourceManager 上)

            命令:            

sbin/start-yarn.sh

        9、看到如下报错:

            

        10、 start-yarn.sh,stop-yarn.sh顶部添加以下 代码(只需在hadoop02上配置,因为只有hadoop02上配置了yarn)

            命令:

vi sbin/start-yarn.sh
vi sbin/stop-yarn.sh

            配置:

#!/usr/bin/env bash

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

        11、再次启动并查看

                    命令:jps

         

        

        

测试集群

        1、上传文件到集群

                a、上传一个小文件

                        命令:

                            创建文件夹:hdfs dfs -mkdir -p /user/root/input

                                    hdfs dfs:固定写法

                                    -mkdir:创建文件夹

                                     -p:多级目录

                                    /user/root/input:目录地址

                            在hadoop解压根目录下创建文件夹:mkdir testinput

                            在testinput中创建文件test:

                            上传至dfs的input文件夹中:bin/hdfs dfs -put testinput/test /user/root/input

                                    bin/hdfs dfs:固定写法

                                    -put:上传

                                   testinput/test:文件路径及文件名

                                    /user/root/input:上传至hdfs服务器中的文件夹路径

                    

                    

                b、上传一个大文件

                            上传至dfs的input文件夹中:bin/hdfs dfs -put /usr/local/hadoop/hadoop-3.2.0.tar.gz /user/root/input

集群关闭

           1、各个组件启动/关闭

                a、启动/停止hdfs组件

                    hadoop-daemon.sh  start/stop  namenode/datanode/secondarynamenode

                b、启动/停止yarn

                    yarn-daemon.sh  start/stop resourcemanager/nodemanager

            2、各个模块分开启动/停止(前提配置ssh)

                a、整体启动/停止hdfs

                        start-dfs.sh/stop-dfs.sh

                b、整体启动/停止yarn

                        start-yarn.sh/stop-yarn.sh

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部