文档章节

Hadoop集群搭建(27)

肖鋭
 肖鋭
发布于 2014/03/19 22:12
字数 656
阅读 61
收藏 5

Hadoop集群搭建方式:

                1.1    确定部署三个节点,分别是hadoop0,hadoop1,hadoop2。

                         其中hadoop0是主节点(NameNode、JobTracker、SecondaryNamenode),hadoop1、hadoop2是从节

                         点(DataNode、TaskTracker)。

                1.2    解压的Linux镜像文件,配置Linux初始化环境,参见Hadoop伪分布环境搭建(26)。

                1.3    在hadoop0上删除/usr/local/hadoop目录下的logs和tmp文件夹。

                         在删除之前先要关闭hadoop0上的伪分布的hadoop。操作:stop-all.sh

                1.4    设置各节点之间的ssh免密码登录

                         (1)在hadoop1上,把hadoop1上的公钥复制给hadoop0,执行命令ssh-copy-id -i hadoop0

                         (2)在hadoop2上,把hadoop2上的公钥复制给hadoop0,执行命令ssh-copy-id -i hadoop0

                         (3)把hadoop0上的authorized_keys复制到hadoop1,hadoop2,执行命令

                                scp    /root/.ssh/authorized_keys    hadoop1:/root/.ssh

                                scp    /root/.ssh/authorized_keys    hadoop2:/root/.ssh

                1.5    在hadoop0上修改文件/etc/hosts,内容修改后如下:

                            192.168.80.100  hadoop0
                            192.168.80.101  hadoop1
                            192.168.80.102  hadoop2

                1.6    复制hadoop0上的/etc/hosts下的配置到其他hadoop1和hadoop2节点。

                1.7    复制hadoop0上的/usr/local/jdk、/usr/local/hadoop到hadoop1、hadoop2的对于目录下。

                         scp    -r    /usr/local/jdk        hadoop1:/usr/local

                         scp    -r    /usr/local/jdk        hadoop2:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop1:/usr/local

                         scp    -r    /usr/local/hadoop    hadoop2:/usr/local

                1.8    复制hadoop0上的/etc/profile到hadoop1、hadoop2上。

                         scp    hadoop0:/etc/profile    hadoop1:/etc/profile

                         scp    hadoop0:/etc/profile    hadoop2:/etc/profile

                         并且还要在hadoop1、hadoop2上分别执行source    /etc/profile

                1.9    修改集群的配置信息,修改hadoop0节点的配置信息,其他节点不必修改

                         (1)NameNode节点的位置在配置文件$HADOOP_HOME/conf/core-site.xml中fs.default.name定义的。

                         (2)JobTracker节点的位置在配置文件$HADOOP_HOME/conf/mapred-site.xml中mapred.job.tracker定

                             义的。

                         (3)SecondaryNameNode节点的位置在配置文件$HADOOP_HOME/conf/masters定义的,内容修改为                                 hadoop0。

                         (4)DataNode和TaskTracker节点的位置在配置文件$HADOOP_HOME/conf/slaves定义的,内容修改为

                              hadoop1、hadoop2。

                1.10    在hadoop0上执行格式化命令hadoop namenode -format

                1.11    在hadoop0上启动集群,执行命令start-all.sh

                动态增加新的从节点的方法:

                2.1    确定hadoop0作为从节点。

                2.2    修改hadoop0上的slaves文件,增加hadoop0。

                2.3    在hadoop0上启动DataNode、TaskTracker进程,执行命令:

                                    hadoop-daemon.sh     start    datanode

                                    hadoop-daemon.sh     start    tasktracker

                2.4    在hadoop0上刷新集群节点结构,执行命令

                            hadoop    dfsadmin    -refreshNodes

                3.0    修改副本数

                            hadoop fs -setrep    2     /hello

                4.0    安全模式

                            集群在刚启动时,会进入安全模式,默认是30秒钟。

                            在安全模式下,系统对block进行检查。

                            在安全模式期间,禁止客户端的create、delete操作。

                            hadoop    dfsadmin    -safeMode    leave | get | enter

                                                                                                                

                                                                                                                        Name:Xr

                                                                                                                        Date:2014-03-19 22:11


© 著作权归作者所有

肖鋭
粉丝 10
博文 62
码字总数 29531
作品 0
朝阳
程序员
私信 提问
Hive从入门到实战视频教程【40讲全】

1、Hive是什么,Hive的体系结构,Hive和Hadoop的关系 2、Hive的元数据存储、Hive的数据存储、Hive和RDBMS的区别 3、JDK安装 4、Hadoop集群搭建-1 5、Hadoop集群搭建-2 6、Hadoop集群搭建-3 ...

tom先生
2014/11/26
58
0
Eclipse平台下使用hbase Api创建表

Hadoop分布式集群搭建好后使用hbase shell 进行所有操作都没有问题(root用户),因为我安装hadoop时都是使用root用户。在windows的eclipse平台下使用hbase API进行查询,插入数据都没有问题...

lzfer
2017/03/25
372
1
spark-2.2.0 集群安装部署以及hadoop集群部署

Spark在生产环境中,主要部署在安装Linux系统的集群中。在linux系统中安装Spark需要预先安装JDK、Scala等所需要的依赖。 由于Spark是计算框架,所以需要预先在集群内有搭建好存储数据的持久化...

huaishu
2017/08/05
0
0
HBase1.2.6集群部署教程

1.引言 在前面的博客中我们介绍HBase的伪分布安装,在本篇博客中就主要介绍一下HBase的集群部署,由于HBase是一款Hadoop之上的NoSQL数据库,因此我们在安装HBase之前需要首先部署Hadoop的集群...

Liri
2017/12/16
0
0
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

ActiveMQ学习之通讯协议

一、支持的通讯协议 ActiveMQ支持的client-broker通讯协议有:TCP、NIO、UDP、SSL、HTTP(S)、VM 其中配置Transport Connector的文件在ActiveMQ安装目录的conf/activemq.xml中的<TransportCon...

冥焱
17分钟前
33
0
应急广播户户通平台

一、平台概述 应急广播户户通平台为软硬一体化广播服务解决方案。实现了应急广播、视音频及图片文字信息、调频及数字广播FM、天气预报信息接收功能,以及视音频播放、智能机器人、电子日历等...

neocean
今天
83
0
如何为Apache 2.2启用mod_rewrite

我已经在我的Vista机器上安装了新的Apache 2.2,一切正常,除了mod重写。 我没有注释 LoadModule rewrite_module modules/mod_rewrite.s 但是我的重写规则都没有,即使是简单的重写规则 Re...

javail
今天
23
0
移除Python unicode字符串中的重音符号的最佳方法是什么?

我在Python中有一个Unicode字符串,我想删除所有的重音符号(变音符号)。 我在网上发现了一种用Java实现此目的的优雅方法: 将Unicode字符串转换为长规范化格式(带有单独的字母和变音符号)...

技术盛宴
今天
48
0
两周自制脚本语言-第11天 优化变量读写性能

第11天 优化变量读写性能 以变量值的读写为例,向读者介绍基于这种理念的语言处理器性能优化方式。 11.1 通过简单数组来实现环境 假如函数包含局部变量x与y,程序可以事先将x设为数组的第0个...

果汁分你一半
今天
62
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部