文档章节

Hadoop 2.x HDFS和YARN的启动方式

刺猬一号
 刺猬一号
发布于 2017/06/01 16:28
字数 374
阅读 75
收藏 0

一.三种启动方式介绍

   方式一:逐一启动(实际生产环境中的启动方式)

    hadoop-daemon.sh start|stop  namenode|datanode| journalnode

       yarn-daemon.sh start |stop  resourcemanager|nodemanager

  方式二:分开启动

      start-dfs.sh

      start-yarn.sh

   方式三:一起启动

     start-all.sh
 

二.脚本解读

start-dfs.sh脚本:

(1)     通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上

(2)     通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本

(3)     hadoop-deamon.sh脚本启动slaves.sh脚本

(4)     slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动

start-all.sh脚本:

     说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本
 

三.三种启动方式的关系

start-all.sh其实调用start-dfs.sh和start-yarn.sh

start-dfs.sh调用hadoop-deamon.sh 
start-yarn.sh调用yarn-deamon.sh

如下图:

 

四.为什么要设置ssh协议

当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。

为了能自动启动远程节点的进程,需要进行免密码登录。

 

五.采用第二种启动方式

上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动

Step1:先停止所以进程(如果已经启动)

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode

Step2:启动所以进程

[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh

[hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh

Step3:查看管理界面

YARN: http://hadoop-yarn.dragon.org:8088/

HDFS: http://hadoop-yarn.dragon.org:50070/

© 著作权归作者所有

刺猬一号
粉丝 12
博文 373
码字总数 616361
作品 0
深圳
私信 提问
【hadoop】4.伪分布式模式

简介 前面我们讲到了hadoop拥有3种运行模式,搭建了最简答的本地运行模式并在其上运行了两个简单案例。本章节我们学习伪分布模式。顾名思义,该模式外在看起来像是分布式,实际上只有一个节点...

落花时节又逢卿
01/03
5
0
Hadoop 2.4.0和YARN的安装过程

Hadoop 2.x新特性 将Mapreduce框架升级到Apache YARN,YARN将Map reduce工作区分为两个:JobTracker组件:实现资源管理和任务JOB;计划/监视组件:划分到单独应用中。 使用MapReduce的2.0,开...

摆渡者
2014/06/21
7.6K
0
Hadoop 2.0 安装向导

Hadoop 2.0 安装向导 (0.23.x) 最新版本的HADOOP2.0与老版本相比有不同的目录结构。 本文将介绍一种简单安装Hadoop2.0到你的电脑上的方法(Hadoop 0.23 安装)。 这有许多可以执行的方式,现...

鉴客
2012/05/30
5.6K
6
Hadoop 2.6.0动态添加节点

本文主要从基础准备,添加DataNode和添加NodeManager三个部分详细说明在Hadoop2.6.0环境下,如何动态新增节点到集群中。 基础准备 在基础准备部分,主要是设置hadoop运行的系统环境 修改系统...

leo-leong
2015/07/12
5.6K
4
hadoop 2.8.3 集群环境搭建

hadoop 2.8.3集群环境搭建 Linux : CentOS 7 hadoop版本: hadoop-2.8.3 JDK: 1.8.0_161 这里打算直接root用户,搭建3个节点的hadoop集群环境。先关闭防火墙,安装成功后,启动哪里报错再针...

huangliuyu00
2018/04/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
今天
6
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
今天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
今天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
今天
17
0
浅谈java过滤器Filter

一、简介 Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序,主要的用途是过滤字符编码、做一些业务逻辑判断如是否有权限访问页面等。其工作原理是,只要你在web.xml...

青衣霓裳
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部