文档章节

Hadoop平台搭建使用系列教程(2)-预定义集群环境

teardream
 teardream
发布于 2015/01/14 23:47
字数 476
阅读 36
收藏 0

雪影工作室版权所有,转载请注明【http://blog.csdn.net/lina791211】


1、物理分布图

        采用4台安装Linux环境的机器来构建一个小规模的分布式集群。


【本图来源:虾皮工作室


2、集群机器详细信息


2.1 Master服务器

Master服务器详细信息

名称

详细信息

机器名称

namenode

机器IP地址

10.196.80.90

最高用户名称(Name)

root

最用用户密码(PWD)

hadoop(全小写)

一般用户名称(Name)

hadoop(全小写)

一般用户密码(PWD)

hadoop(全小写)


2.2 Slave*服务器

Tips: * 代表序号,例如1,2,3,4…..

Slave*服务器详细信息

名称

详细信息

机器名称

datanode*

机器IP地址

10.196.80.9*

最高用户名称(Name)

root

最用用户密码(PWD)

hadoop(全小写)

一般用户名称(Name)

hadoop(全小写)

一般用户密码(PWD)

hadoop(全小写)


2.3 总结

        a、Master节点的机器名称、个数、IP分配。

        b、Slave节点个数、 ip分配、机器名称。

机器、节点、IP映射表

机器名称

节点作用

IP地址

namenode

Namenode & jobtracker

10.196.80.90

 

 

 

datanode1

datanode1 & Tasktracker

10.196.80.91

datanode2

datanode2 & Tasktracker

10.196.80.92

datanode3

datanode3 & Tasktracker

10.196.80.93

 

 

 

 

 

 

        (1)四个节点上均是ubuntu-12.04.1-desktop-i386系统,并且有一个相同的用户hadoop

        (2)Master机器主要配置NameNodeJobTracker的角色,负责总管分布式数据和分解任务的执行;

        (3)3个Salve机器配置DataNodeTaskTracker的角色,负责分布式数据存储以及任务的执行;

        (4)其实应该还应该有1个Master机器,用来作为备用,以防止Master服务器宕机,还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器。

 

3、文章PDF下载

文章下载
网站 地址
                 百度云                   http://pan.baidu.com/share/link?shareid=529700&uk=4010661479
CSDN http://download.csdn.net/detail/lina791211/5514087


© 著作权归作者所有

共有 人打赏支持
teardream

teardream

粉丝 1
博文 27
码字总数 18019
作品 0
南京
私信 提问
大数据教程(一)—— Hadoop集群坏境搭建配置

前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到...

biubiubiu!
2017/05/02
0
0
Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri
2017/12/16
0
0
大数据平台搭建-hbase集群的搭建

本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 虚拟服务器安装 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集群的...

molyeo
2018/07/25
0
0
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
2018/08/03
0
0
最新hadoop下载安装教程(附详细图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。 在此之前有必要做一个简单的说明:分享的所有...

adnb34g
2018/08/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

jenkins安装

https://my.oschina.net/u/593517/blog/1797968 jenkins 安装 https://my.oschina.net/u/593517/blog/3028175 GIT 安装 https://my.oschina.net/u/593517/blog/3028179 maven 安装 插件安装 ......

Gm_ning
17分钟前
2
0
小言服务端解决方案-监控

框架保证方向,整体包容细节 为保证服务端运行平稳正常,owner应使得系统应保有相应的监控:系统监控,业务监控。而服务运行的平稳高效是否有保障跟监控粒度又成直接的正比关系。本文仅针对开...

重城重楼
29分钟前
1
0
搜索引擎(Elasticsearch搜索详解)

学完本课题,你应达成如下目标: 掌握ES搜索API的规则、用法。 掌握各种查询用法 搜索API 搜索API 端点地址 GET /twitter/_search?q=user:kimchy GET /twitter/tweet,user/_search?q=user:...

这很耳东先生
53分钟前
7
0
浅谈如何减少GC的次数

GC会stop the world。会暂停程序的执行,带来延迟的代价。所以在开发中,我们不希望GC的次数过多。 本文将讨论如何在开发中改善各种细节,从而减少GC的次数。 (1)对象不用时最好显式置为 Nu...

浮躁的码农
54分钟前
1
0
jpa 自定义返回对象

任何ORM框架都少不了开放自定义sql的问题。jpa自然也不例外,很多场景需要写复杂sql的。 首先定义一个方法签名,然后打上@Query注解。像下面这样,需要注意nativeQuery,这个表示query中的字...

朝如青丝暮成雪
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部