文档章节

hadoop普通集群搭建

小哥豪
 小哥豪
发布于 2017/02/14 20:24
字数 895
阅读 14
收藏 1

一些工具:
1.远程工具xshell
2.文件传输工具winSCP
3.Notpad++安装NppFTP插件

集群搭建:(hadoop,hadoop1,hadoop2)
( /usr/local/tools/     放置tar包
   /usr/local/software   安装软件)
   
1.设置各个节点ip
2.设置各个节点ip映射并关闭防火墙
 vi /etc/hosts   #写入各个节点的ip和新起的主机名,每个节点都要写
 如:
192.168.2.21    hadoop0
192.168.2.31    hadoop1
192.168.2.41    hadoop2
 

运行:chkconfig iptables off
3.设置各个节点ssh免密码登陆
在hadoop0节点:
如无/root/.ssh 文件夹   运行  ssh-keygen -t rsa  重新生成
ssh-copy-id -i hadoop0
cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

在hadoop1节点:
ssh-copy-id -i hadoop1
scp /root/.ssh/id_rsa.pub hadoop0:/root/h1  #将id_rsa.pub复制到hadoop的一个文件夹下

在hadoop2节点:
ssh-copy-id -i hadoop2
scp /root/.ssh/id_rsa.pub hadoop0:/root/h2  #将id_rsa.pub复制到hadoop的一个文件夹下

回到hadoop节点:
cat /root/h1/id_rsa.pub >> /root/.ssh/authorized_keys
cat /root/h2/id_rsa.pub >> /root/.ssh/authorized_keys
然后删除h1和h2文件夹

4.安装JDK
在hadoop0节点:
rpm -qa|grep java  #检查是否已安装jdk
rpm -e --nodeps 已安装jdk名   #卸载已安装的jdk
cd /usr/local/tools/
chmode u+r jdk-7u67-linux-x64.tar.gz  #为安装包赋予执行权限
tar -zxvf jdk-7u67-linux-x64.tar.gz /usr/local/software   #解压tar包
vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/tools/jdk-7u67-linux-x64.tar.gz
                                export PATH=.:$JAVA_HOME/bin:$PATH
将jdk复制到hadoop1和hadoop2                                
scp  -r /usr/local/software/jdk-7u67-linux-x64   hadoop1:/usr/local/software
scp  -r /usr/local/software/jdk-7u67-linux-x64   hadoop2:/usr/local/software

检查
java -version

在hadoop1节点:
vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/software/jdk-7u67-linux-x64
                                export PATH=.:$JAVA_HOME/bin:$PATH
检查
java -version

在hadoop2节点:
vi /etc/profile 增加内容如下:
                                export JAVA_HOME=/usr/local/software/jdk-7u67-linux-x64
                                export PATH=.:$JAVA_HOME/bin:$PATH
检查
java -version

5.安装hadoop
在hadoop0节点:
tar -zxvf hadoop-2.5.0-cdh5.3.3.tar.gz /usr/local/software
vi /etc/profile 增加内容如下:
                                export HADOOP_HOME=/usr/local/software/hadoop-2.5.0-cdh5.3.3
                                export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
source /etc/profile  #刷新

5.1 修改配置文件(/usr/local/software/hadoop-2.5.0-cdh5.3.3/etc/hadoop/)
a. 配置HDFS
在core.site.xml里
   fs.defaultFS = hdfs://hadoop0:9000    #配置主节点ip
   hadoop.tmp.dir = /usr/local/software/hadoop-2.5.0-cdh5.3.3/tmp #配置hadoop运行时临时文件夹
   fs.trash.interval = 10080 #配置回收站文件删除时间7*24*60(单位分钟)
在hdfs.site.xml里
   dfs.replication = 2 #配置hdfs系统副本数量
   dfs.data.dir = /usr/local/software/hadoop-2.5.0-cdh5.3.3/hdfsdata #配置HDFS系统的文件在本地存储目录
   dfs.namenode.secondary.http-address = hadoop0:50090 #配置secondarynamenode所在节点
   dfs.permissions.enabled = false  #使eclipse中可以运行mapreduce
   dfs.namenode.datanode.registration.ip-hostname-check = false

b.配置yarn
在yarn-env.sh里配置环境变量 
在yarn-site.xml里
   yarn.nodemanager.aux-services = mapreduce_shuffle #配置mapreduce和shuffle在yarn上运行
   yarn.resourcemanager.hostname = hadoop0 #配置resourcemanager所在节点
   yarn.log-aggregation-enable = true #配置yarn的mapreduce日志聚集功能
   yarn.log-aggregation.retain-seconds = 604800 #配置聚集的日志保存时间7*24*60*60

c.配置从节点主机名
在slaves里写  
    hadoop1
    hadoop2
d.配置mapreduce    
在mapred.env.sh里配置环境变量
在mapred.site.xml里
   mapreduce.framework.name = yarn #配置mapreduce的运行框架为yarn
   mapreduce.jobhistory.webapp.address = hadoop0:19888  #配置mapreduce历史服务web UI端口
   mapreduce.jobhistory.address = hadoop0:10020   #配置mapreduce历史服务IPC地址
  
6将安装好的hadoop复制到从节点
scp -r /usr/local/software/hadoop-2.5.0-cdh5.3.3/ hadoop1:/usr/local/software/
scp -r /usr/local/software/hadoop-2.5.0-cdh5.3.3/ hadoop2:/usr/local/software/

6.hadoop namenode -format   #格式化NameNode,只可以运行一次

验证:    (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、ResourceManager、DataManager
        (2)在浏览器查看,http://hadoop0:50070  

        
7.动态的增加一个hadoop节点
    7.1 配置新节点的环境
    7.2 把新节点的hostname配置到主节点的slaves文件中
    7.3 在新节点,启动进程
            hadoop-daemon.sh start datanode
            hadoop-daemon.sh start tasktracker
    7.4 在主节点执行脚本 hadoop dfsadmin -refreshNodes


 

© 著作权归作者所有

小哥豪
粉丝 0
博文 3
码字总数 1489
作品 0
私信 提问
hadoop HA中active节点挂掉standby节点不自动切换问题

这两天又在搭建hadoop集群,自学了这么久的hadoop,就学会了搭建集群,这次用普通用户搭建又遇到问题,就是搭建完成以后,active节点挂掉standby节点不自动切换成active,这到底哪儿出问题了...

sixjo
2017/10/31
235
0
Hadoop2 namenode 联邦 实验

实验的Hadoop版本为2.5.2,硬件环境是5台虚拟机,使用的均是CentOS6.6操作系统,虚拟机IP和hostname分别为: 192.168.63.171 node1.zhch 192.168.63.172 node2.zhch 192.168.63.173 node3.z...

张超
2015/08/24
225
0
大数据(hadoop-Hadoop2.7.3伪分布搭建)

安装准备: vmware10 Centos6.5 64位版本 JDK1.8linux32位版 Hadoop2.7.3版本 安装过程讲解:  字符界面安装centos6.5,网络设置为主机模式或者桥连接  配置静态ip 并测试能不能...

这很耳东先生
04/16
24
0
大数据hadoop是什么?初学者如何进行系统学习?

大数据的火爆程度在不断的增加,似乎一个行业不和大数据相对接就会显得很“LOW”。大数据行业的薪资水平越来越高,决定了更多的人纷纷学习大数据,hadoop作为大数据的一个核心自然就是学习的...

hainiubuluo
2018/05/25
0
0
HBase1.2.6集群部署教程

1.引言 在前面的博客中我们介绍HBase的伪分布安装,在本篇博客中就主要介绍一下HBase的集群部署,由于HBase是一款Hadoop之上的NoSQL数据库,因此我们在安装HBase之前需要首先部署Hadoop的集群...

Liri
2017/12/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
19分钟前
2
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
今天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
今天
4
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
今天
6
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部