文档章节

hadoop1.1.2集群安装指南

片刻
 片刻
发布于 2014/05/29 23:52
字数 580
阅读 104
收藏 0

首先是基于伪分布的安装:

http://my.oschina.net/repine/blog/267698

如果你还不会,我想说:不太可能,加油!do it 

构建hadoop集群

a>vmbox复制  或者vmware克隆  得到新的虚拟机

b>新建一个ip--Connection修改,然后固定一个ip

c>修改主机名

      1 修改hostname

                   (1)执行命令hostname cloud4  修改会话中的hostname

                   (2)验证:执行命令hostname

                   (3)执行命令vi  /etc/sysconfig/network 修改文件中的hostname

                   (4)验证:执行命令reboot -h now 重启机器

      2 设置iphostname绑定

                   (1)执行命令vi  /etc/hosts

                            在文本最后增加一行192.168.80.101 cloud41

                   (2)验证:ping cloud4

(3)window中配置:主机名对应的ip

C:\Windows\System32\drivers\etc\hosts

d> ssh免密码登陆

新建就要配置

                   //(1)执行命令ssh-keygen -t rsa (然后一路Enter  产生秘钥位于/root/.ssh/

                   //(2)执行命令cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys  产生授权文件

                   //(3)验证:ssh localhost

如果克隆的直接下一步:

判断本系统是否密码配置成功:

ssh cloud4  (ssh 主机名)

(主节点把密码传到从节点)

ssh-copy-id  -i  cloud41

转到从节点

ssh cloud41

(从节点把密码传到主节点)

ssh-copy-id  -i  cloud4

e>复制主节点的jdkhadoop到对方

-r递归)

scp  -r  /usr/local/jdk   cloud41:/usr/local

scp  -r  /usr/local/hadoop   cloud41:/usr/local

scp  /etc/profile   cloud41:/etc

source /etc/profile 配置文件生效

f>修改 hadoop/conf/slaves来添加从节点

子节点可以是--------Slaves内容如下:

localhost(可要可不要,判断要不要主节点存放数据,一般dataNode放在从节点中)

cloud41,cloud42

g>在主节点启动,从节点不执行以下命令

格式化hadoopnamenode

hadoop namenode –format

start-all.sh

h>如果配置成功

主节点:

[root@cloud41 ~]# jps

4020 NameNode

4353 JobTracker

4466 TaskTracker

4508 Jps

4275 SecondaryNameNode

4154 DataNode

从节点:

[root@cloud41 ~]# jps

3286 TaskTracker

3352 Jps

3194 DataNode

i>新节点的加入:

1.   启动新节点:(datanodetasktracker

hadoop/bin

hadoop-daemon.sh start datanode

hadoop-daemon.sh start tasktracker

2.   在主节点重新获取从节点

hadoop dfsadmin –refreshNodes

3.   主节点设置负载均衡

hadoop/bin

(可选)在主节点上执行负载均衡命令 start-balance.sh

4.修改副本数  

hadoop fs -setrep 2   /hello  

5.修改安全模式状态   

         hadoop dfsadmin -safemode leave|enter|get   leave表示关闭安全模式)


© 著作权归作者所有

片刻
粉丝 107
博文 271
码字总数 308453
作品 0
海淀
高级程序员
私信 提问
Ubuntu 12.04搭建hadoop单机版环境

前言: 本文章是转载的,自己又加上了一些自己的笔记整理的 详细地址请查看Ubuntu 12.04搭建hadoop单机版环境 Hadoop的三种运行模式 独立模式:无需任何守护进程,所有程序都在单个JVM上执行...

zhao_xiao_long
2013/07/26
0
0
一个电脑能安装两个版本的hadoop么???

我现在电脑上有hadoop1.1.2 然后我先在想在同一台电脑上安装hadoop2.6.0 想问一下两者能兼容么??然后对jdk还有其他要求没??

DEADGONE
2014/12/12
296
0
hadoop1.1.2伪分布安装指南

1.伪分布式的安装 1.1 修改ip (1)打开VMWare或者VirtualBox的虚拟网卡 (2)在VMWare或者VirtualBox设置网络连接方式为host-only (3)在linux中,修改ip。有上角的图标,右键,选择Edit Connec...

片刻
2014/05/22
156
0
原生态在hadoop上运行java程序

第一种:原生态运行jar包 1,利用eclipse编写Map-Reduce方法,一般引入hadoop-core-1.1.2.jar。注意这里eclipse里没有安装hadoop的插件,只是引入其匝包,该eclipse可以安装在windows或者lin...

zhao_xiao_long
2013/07/30
0
0
Helm 用户指南-系列(1)-序言+快速入门

序言 Helm是Kubernetes的一个包管理工具,用来简化基于Kubernetes平台运行的应用的部署和管理,极大的方便了集群运维人员及应用开发人员工作。 本指南是官方Kubernetes的github库中,helm项目...

店家小二
2018/12/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

spring-boot-maven-plugin not found的解决方案。

通过IDE创建一个springboot项目, <plugin> <groupId>org.springframework.boot</groupId>//这行红色 <artifactId>spring-boot-maven-plugin</artifactId>//这行红色</plugin> 提示sprin......

一片云里的天空
今天
52
0
OSChina 周三乱弹 —— 我可能是个憨憨

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @宇辰OSC :分享Hare Je的单曲《Alan Walker-Faded(Hare Je remix)》: #今日歌曲推荐# 可以放松大脑的一首纯音乐 《Alan Walker-Faded(Har...

小小编辑
今天
99
0
搞定SpringBoot多数据源(3):参数化变更源

春节将至,今天放假了,在此祝小伙伴们新春大吉,身体健康,思路清晰,永远无BUG! 一句话概括:参数化变更源意思是根据参数动态添加数据源以及切换数据源,解决不确定数据源的问题。 1. 引言...

mason技术记录
昨天
99
0
sql 基础知识

sql 基础知识 不要极至最求一条sql语句搞定一切,可合理拆分为多条语句 1. sql 变量定义与赋值 Sql 语句中,直接在SELECT使用@定义一个变量,如:[@a](https://my.oschina.net/a8856225a)。 ...

DrChenXX
昨天
57
0
MacOSX 安装 TensorFlow

TensorFlow是一个端到端开源机器学习平台。它拥有一个包含各种工具、库和社区资源的全面灵活生态系统,可以让研究人员推动机器学习领域的先进技术的。 准备 安装 Anaconda TensorFlow 安装的...

叉叉敌
昨天
79
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部