文档章节

Hadoop集群(第2期)_机器信息分布表

阿桂的博客
 阿桂的博客
发布于 2015/07/13 17:11
字数 721
阅读 26
收藏 0

1、分布式环境搭建

  采用4台安装Linux环境的机器来构建一个小规模的分布式集群。

图1 集群的架构

 

  其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。

2、集群机器详细信息

2.1 Master服务器

名称

详细信息

机器名称

Master.Hadoop

机器IP地址

192.168.1.2

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

2.2 Slave1服务器

名称

详细信息

机器名称

Slave1.Hadoop 

机器IP地址

192.168.1.3 

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

 

2.3 Slave2服务器

名称

详细信息

机器名称

Slave2.Hadoop 

机器IP地址

192.168.1.4 

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

 

2.4 Slave3服务器

名称

详细信息

机器名称

Slave3.Hadoop 

机器IP地址

192.168.1.5 

最高用户名称(Name

root 

最用用户密码(PWD

hadoop(全小写)

一般用户名称(Name

hadoop(全小写)

一般用户密码(PWD

hadoop(全小写)

 

  备注:

      添加新用户命令:useradd;修改新用户密码:passwd 用户名

      退出当前用户:exit;         登录root用户:su –

3、集群机器实际布局

  下面是几张Hadoop集群实际机器的部署情况,可以从图中看到那时的我们怎么实际配置Hadoop集群的。

 

3.1 Hadoop工作集群

  该Hadoop集群机器是学习和研究之用,上面运行着已经搭建好的的Hadoop平台以及运行着一些实际程序。

 

图3.1-1 Hadoop工作集群部署图(1)

 

图3.1-2 Hadoop工作集群部署图(2)

  上面从两个角度来分别观察Hadoop集群部署,作为Hadoop集群的Master节点,用的是机器较为不错的Dell,而三台Slave机器则是实验室淘汰的Lenovo,用一个小路由器他们组成了一个局域网。

 

图3.1-3 路由器特写

3.2 Hadoop实验集群

  为了方便新成员练习Hadoop技术,又防止在实际Hadoop集群上破坏已运行的程序,故另外弄了两台旧Lenovo电脑组成:一个"主——TMaster";一个"辅——TSlave"。

 

图3.2-1 Hadoop实验集群部署

 

  上面就是实验室Hadoop集群的样子,虽然很简陋,但足够学习用了。

本文转载自:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503837.html

共有 人打赏支持
阿桂的博客

阿桂的博客

粉丝 11
博文 63
码字总数 34826
作品 0
浦东
高级程序员
私信 提问
加载中

评论(1)

O
OSC_AnedWc
pm
Hadoop集群(第2期)_机器信息分布表

1、分布式环境搭建   采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构   其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台...

Carl_
2015/06/25
0
0
Hadoop集群(第5期)_Hadoop安装配置

1、集群部署介绍 1.1 Hadoop简介   Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapRed...

Carl_
2015/06/25
0
0
hbase集群间数据迁移

HBase迁移数据方案一(集群互联) 一、需要在hbase集群停掉的情况下迁移 步骤: (1)执行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest" (2)在new cluster执行./hbase o......

张欢19933
2016/04/18
600
0
hbase集群安装

1.基本信息 2.安装过程 1).使用hadoop账号解压到/opt/hadoop目录下并设置软连接: [hadoop@bgs-5p173-wangwenting opt]$ cd /opt/software[hadoop@bgs-5p173-wangwenting software]$ tar -zx......

wyl9527
2017/05/21
0
0
Hadoop集群(第8期)_HDFS初探之旅

1、HDFS简介   HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价...

Carl_
2015/06/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

table边框样式

table{ border:0.5px solid #000; border-collapse:collapse; //去除边框间空隙}th,td{ border:0.5px solid #000;}...

学霸猫
30分钟前
2
0
分布式消息通讯Kafka原理分析(二)

本章重点: 1.消息的存储原理2.Partition的副本机制原理3.副本数据同步原理 消息的文件存储机制 通过如 下命令找到对应partition下的日志内容 [root@localhost ~]# ls /tmp/kafka-logs/f...

须臾之余
35分钟前
2
0
Vue Element表单绑定(四)常用操作整理

一、启用回车提交报单操作 在登录页面,使用回车提交表单操作一般是必要的一个操作。在 Element中如何使用呢,示例如下: 来个注意点: 1.button按钮的native-type设置为submit,而不是绑定c...

tianma3798
39分钟前
2
0
《大话数据结构》读后总结(七)

常见的时间复杂度 执行次数 函数阶 非正式术语 12 O(1) 常数阶 2n+3 O(n) 线性阶 3n^2+2n+1 O(n2) 平方阶 5log2n+20 O(logn) 对数阶 2n+3nlog2n+19 O(nlogn) nlogn阶 6n^3+2n^2+3n+4 O(n3) 立...

徐曙辉
41分钟前
2
0
three.js 事件交互

点击查看交互效果 在three.js中,展示的一切内容都是在canvas中绘制的,所以点击事件点击到物体上是无法获取点击对象的,要获取点击的对象要使用RayCaster,用于在三维空间中进行鼠标拾取,原...

tianyawhl
41分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部