文档章节

Hadoop集群搭建-05安装配置YARN

虚拟世界的懒猫
 虚拟世界的懒猫
发布于 07/23 00:05
字数 520
阅读 31
收藏 0

Hadoop集群搭建-04安装配置HDFS 

Hadoop集群搭建-03编译安装hadoop

Hadoop集群搭建-02安装配置Zookeeper

Hadoop集群搭建-01前期准备

先保证集群5台虚拟机,

  nn1 nn2 s1 s2 s3
hadoop
zookeeper    
namenode      
jouralnode      
datanode    

1.然后启动yarn在nn1机器上:

[hadoop@nn1 hadoop]$ start-yarn.sh

然后查看各节点信息

2.配置yarn的HA高可用

高可用就是好几台机器,一台突然挂掉了,其他机器就补上去,刚刚只启动了nn1作为yarn服务器,只有一台,所以这里要在nn2也开一台,来做简单的高可用

###############在nn2控制台操作####################
[hadoop@nn2 ~]$ yarn-daemon.sh start resourcemanager

如图查看jps

这里相比第一张图,在nn2多了一个resourceManager

##########查看状态############
[hadoop@nn1 hadoop_base_op]$ yarn rmadmin -getServiceState rm1
active
[hadoop@nn1 hadoop_base_op]$ yarn rmadmin -getServiceState rm2
standby

打开网页查看http://192.168.10.6:8088/cluster

出现hadoop页面就是成功了,这时候因为nn1是active状态,所以你输入http://192.168.10.7:8088/cluster的话,或自动跳转到active机器,也就是自动跳转到nn1的ip上。

启动成功

来,跑个任务试试

用这个集群进行简单的wordcount任务

创建两个文件

vim abc1
aa bbb abc
aa aa 
aa bb
aa cc aa

vim abc2
张三 张 三
张
三 张

 把这两个文件上传到hadoop的hdfs上

[hadoop@nn1 ~]$ hadoop fs -mkdir -p /user/hadoop/abc/input
[hadoop@nn1 ~]$ hadoop fs -put ./abc* /user/hadoop/abc/input

查看网页端:

查看网页端fs状态

扔到MR里执行下

[hadoop@nn1 ~]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/hadoop/abc/input /user/hadoop/abc/output

正常运行

查看网页端的状态展示:

网页端展示

然后我们去hadoop那里查看结果文件

[hadoop@nn1 ~]$ hadoop fs -cat /user/hadoop/abc/output/part-r-00000

wordcount结果

大功告成!!!

© 著作权归作者所有

虚拟世界的懒猫

虚拟世界的懒猫

粉丝 3
博文 43
码字总数 30698
作品 0
唐山
个人站长
私信 提问
Spark集群搭建——Hadoop2.4.1集群搭建

安装Java 参见Hadoop 1.2.1 伪分布式模式安装中Java安装部分 配置SSH免密码验证 我们还是以spark-master, ubuntu-worker, spark-worker1三台机器为例。 参见博客Spark集群搭建——SSH免密码验...

Jackson_Mu
2015/03/16
2.6K
4
【hadoop】4.伪分布式模式

简介 前面我们讲到了hadoop拥有3种运行模式,搭建了最简答的本地运行模式并在其上运行了两个简单案例。本章节我们学习伪分布模式。顾名思义,该模式外在看起来像是分布式,实际上只有一个节点...

落花时节又逢卿
01/03
5
0
Hadoop2.6.0环境搭建

一、环境说明 1、机器:一台物理机 和一台虚拟机 2、linux版本:[spark@S1PA11 ~]$ cat /etc/issue Red Hat Enterprise Linux Server release 5.4 (Tikanga) 3、JDK: [spark@S1PA11 ~]$ java......

dengxin919820
2018/06/28
0
0
Spark On Yarn 搭建

实现步骤: 1)搭建好Hadoop(版本,2.7)集群 2)安装和配置scala(版本,2.11) 上传解压scala-2.11.0.tgz—>配置 /etc/profile文件 配置信息如下: 3)在NodeManager节点(01,02,03节点)...

仟昭
03/02
36
0
64位linux下支持lzo的Hadoop 2.2.0分布式集群配置细节摘要

初学者搭建Hadoop环境容易陷入细节漩涡中,并不是说细节不重要,在程序世界中,细节恰恰是决定成败的关键。然而,如果能在深入细节之前对整体有全面、逻辑性的认识,那么遇到细节时也能准确定...

Iuranus
2014/06/16
266
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部