文档章节

Hadoop集群(第2期)_机器信息分布表

Carl_
 Carl_
发布于 2015/06/25 16:02
字数 733
阅读 16
收藏 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

1、分布式环境搭建

  采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

图1 集群的架构

 

  其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。

2、集群机器详细信息

2.1 Master服务器

名称

详细信息

机器名称

Master.Hadoop

机器IP地址

192.168.1.2

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

2.2 Slave1服务器

名称

详细信息

机器名称

Slave1.Hadoop 

机器IP地址

192.168.1.3 

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

 

2.3 Slave2服务器

名称

详细信息

机器名称

Slave2.Hadoop 

机器IP地址

192.168.1.4 

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

 

2.4 Slave3服务器

名称

详细信息

机器名称

Slave3.Hadoop 

机器IP地址

192.168.1.5 

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

 

  备注:

      添加新用户命令:useradd;修改新用户密码:passwd 用户名

      退出当前用户:exit;         登录root用户:su –

3、集群机器实际布局

  下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。

 

3.1 Hadoop工作集群

  该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。

 

图3.1-1 Hadoop工作集群部署图(1)

 

图3.1-2 Hadoop工作集群部署图(2)

  上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的Dell,而三台Slave机器则是实验室淘汰的Lenovo,用一个小路由器他们组成了一个局域网。

 

图3.1-3 路由器特写

3.2 Hadoop实验集群

  为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个"主——TMaster";一个"辅——TSlave"。

 

图3.2-1 Hadoop实验集群部署

 

  上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。

 

  文章下载地址:http://files.cnblogs.com/xia520pi/HadoopCluster_Vol.2.rar

 


本文转载自:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503837.html

Carl_
粉丝 42
博文 387
码字总数 12168
作品 0
广州
私信 提问
Hadoop集群(第2期)_机器信息分布表

1、分布式环境搭建   采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构   其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台...

一念三千
2015/07/13
41
1
Hadoop集群(第5期)_Hadoop安装配置

1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapRed...

Carl_
2015/06/25
40
0
hbase集群间数据迁移

HBase迁移数据方案一(集群互联) 一、需要在hbase集群停掉的情况下迁移 步骤: (1)执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在new cluster执行./hbase o......

张欢19933
2016/04/18
958
0
Hadoop集群(第8期)_HDFS初探之旅

1、HDFS简介   HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价...

Carl_
2015/06/25
90
0
ZooKeeper安装配置

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运...

jiejie2050
2016/11/11
36
0

没有更多内容

加载失败,请刷新页面

加载更多

密码加密与微服务鉴权JWT详细使用教程

[TOC] 1.1、了解微服务状态 微服务集群中的每个服务,对外提供的都是Rest风格的接口,而Rest风格的一个最重要的规范就是:服务的无状态性。 什么是无状态? 1.服务端不保存任何客户端请求者信...

庭前云落
21分钟前
6
0
Xamarin.FormsShell基础教程(9)Shell相关类体系

Xamarin.FormsShell基础教程(9)Shell相关类体系 在Shell中,最为主要的类是Shell类。Shell类实现了大多数应用程序所需的基本UI功能的页面。除此以外,常用的类还有ShellContent、Tab、Fly...

大学霸
23分钟前
4
0
聊聊MVC、MVP、MVVM吧

先来介绍下本文结构: 三种框架的具体概念 在安卓开发上的写法、优缺点 1.概念 1.1 MVC MVC模式(Model–view–controller)是软件工程中的一种软件架构模式,把软件系统分为三个基本部分:模...

二营长的意大利炮手
40分钟前
4
0
如果解释Python,什么是.pyc文件?

我已经了解Python是一种解释型语言......但是,当我查看我的Python源代码时,我看到.pyc文件,Windows将其识别为“编译的Python文件”。 这些来自哪里? #1楼 Python代码经历了两个阶段。 第...

javail
45分钟前
5
0
.NET Core初览

初览的应用场景为游戏服务器开发。所以测试在侧重点上更强于IO和密集型计算 TODO

梦想游戏人
48分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部