文档章节

Hadoop 伪分布式搭建指南

bochs
 bochs
发布于 2016/11/17 11:52
字数 2161
阅读 81
收藏 0

简述


hadoop 集群一共有4种部署模式,详见《hadoop 生态圈介绍》。 伪分布式模式将hadoop安装在一台机器上,通常用来用作实验、开发和调试用。

所有四种模式的部署指南见:

Hadoop 伪分布式搭建指南

Hadoop 完全分布式搭建指南

Hadoop HA高可用集群模式搭建指南

Hadoop HA+Federation(联邦)模式搭建指南

搭建过程


系统环境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模拟一台主机,内存为4G

节点角色
IP 主机名 角色描述
192.168.100.201 h01.vm.com 主节点, NameNode, Secondary-NameNode, (yarn)ResourceManager, job-history-server

另,以上节点都同时是 slave从节点,即 datanode。运行Namenode和ResourceManager的节点即为主节点。

更新软件源索引
sudo apt-get update
安装基础软件
sudo apt-get install ssh
sudo apt-get install rsync
配置主机域名
sudo vim /etc/hostname # centos系统可能没有该文件,创建即可
h01.vm.com # 该节点主机名

将该文件内容修改为对应的主机名,例如 h01.vm.com

域名解析(如搭建了DNS服务器,则跳过此步骤)
  • 配置 /etc/hosts,将以下代码追加到文件末尾即可
sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
准备jdk、hadoop软件包
  • 须到官方网站下载stable版本 jdk-7u79-linux-x64.tar.gz hadoop-2.7.2.tar.gz
  • 所有的软件包都统一解压到 /home/vagrant/VMBigData 目录下,其中 vagrant 是linux系统的用户名,由于我是使用 vagrant 虚拟的主机,所以默认是 vagrant
# 先在其中一台机子操作,后面会使用 scp 命令或者其他方法同步到其他主机
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop
配置软连接,方便以后升级版本
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default
配置环境变量
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile
配置免密码ssh登录

hadoop主节点需要能远程登陆集群内的所有节点(包括自己),以执行命令。所以需要配置免密码的ssh登陆。可选的ssh秘钥对生成方式有rsa和dsa两种,这里选择rsa。

ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下来的命令行交互中,直接按回车跳过输入密码
  • 以下命令将本节点的公钥 id_rsa.pub 文件的内容追加到远程主机的 authorized_keys 文件中(默认位于 ~/.ssh/),这里是远程主机即本机
ssh-copy-id vagrant@h01.vm.com # vagrant是远程主机用户名

!!! 注意使用rsa模式生成密钥对时,不要轻易覆盖原来已有的,确定无影响时方可覆盖 !!!

配置从节点

在 slaves 文件中配置的主机即为从节点,将自动运行datanode服务

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com 
建立存储数据的相应目录
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode
mkdir -p /home/vagrant/VMBigData/hadoop/data/namesecondary
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs    
配置hadoop参数
  • etc/hadoop/hadoop-env.sh
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注释掉原来的这行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注释掉原来的这行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}
  • etc/hadoop/mapred-env.sh
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <!-- 指定hdfs的nameservice为h01 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://h01.vm.com:9000</value> 
  </property>  
  <!-- 指定hadoop数据存储目录 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 单机版的一般设为1,若是集群,一般设为3 -->  
    <value>1</value> 
  </property>  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 创建的namenode文件夹位置,如有多个用逗号隔开。配置多个的话,每一个目录下数据都是相同的,达到数据冗余备份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 创建的datanode文件夹位置,多个用逗号隔开,实际不存在的目录会被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property>  
  <!-- 配置Secondary NameNode在本节点上 -->  
  <property> 
    <name>dfs.http.address</name>  
    <value>h01.vm.com:50070</value>  
    <description>Secondary get fsimage and edits via dfs.http.address</description> 
  </property>  
  <property> 
    <name>dfs.secondary.http.address</name>  
    <value>h01.vm.com:50090</value> 
  </property>  
  <property> 
    <name>dfs.namenode.checkpoint.dir</name>  
    <value>file:///home/vagrant/VMBigData/hadoop/data/hdfs/namesecondary</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>h01.vm.com</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打开日志聚合功能,这样才能从web界面查看日志 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日志最长保留时间 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager总的可用内存,这个要根据实际情况合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce作业时,每个task最少可申请内存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce作业时,每个task最多可申请内存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申请使用的虚拟内存,相对于实际使用内存大小的倍数。实际生产环境中可设置的大一些,如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中间结果存放位置。注意,这个参数通常会配置多个目录,已分摊磁盘IO负载。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日志存放位置。注意,这个参数通常会配置多个目录,已分摊磁盘IO负载。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>
  • vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml
<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默认值为 1536,可根据需要调整,调小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每个map task申请的内存,每一次都会实际申请这么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每个map task中的child jvm启动时参数,需要比 mapreduce.map.memory.mb 设置的小一些 -->  
    <!-- 注意:map任务里不一定跑java,可能跑非java(如streaming) -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默认值为 -Xmx200m,生产环境可以设大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任务内部排序缓冲区大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map计算完全后的merge阶段,一次merge时最多可有多少个输入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle阶段并行传输数据的数量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>
格式化namenode
hdfs namenode -format

!!! 注意仅在首次启动时执行,因为此命令会删除hadoop集群所有的数据 !!!

启动和停止hadoop集群,方法1(只能启动当前机器的服务):

启动和停止NameNode守护进程

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start namenode
sbin/hadoop-daemon.sh --script hdfs stop namenode

启动和停止所有从节点的DataNode守护进程

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start datanode
sbin/hadoop-daemon.sh --script hdfs stop datanode

启动和停止ResourceManager守护进程

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh stop resourcemanager

启动和停止所有从节点的NodeManager守护进程

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh stop nodemanager

启动和停止MapReduce JobHistory Server

cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/mr-jobhistory-daemon.sh stop historyserver
启动和停止hadoop集群,方法2(推荐):
  • 可在任意主节点操作,以启动namenod和datanode等服务
cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
sbin/stop-dfs.sh
  • 启动 yarn 服务
cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
sbin/stop-yarn.sh
  • 启动 job history server(可选)
cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/mr-jobhistory-daemon.sh stop historyserver
浏览服务启动情况

NameNode http://192.168.100.201:50070

Secondary NameNode http://192.168.100.201:50090

ResourceManager http://192.168.100.201:8088

MapReduce JobHistory Server http://192.168.100.201:19888

Datanode http://192.168.100.201:50075

集群状态 hdfs dfsadmin -report

hadoop进程 jps

参考链接

Hadoop: Setting up a Single Node Cluster

hadoop--完全分布式安装实例

© 著作权归作者所有

bochs
粉丝 13
博文 10
码字总数 35381
作品 0
深圳
私信 提问
Hadoop新手学习指导

对于我们新手入门学习hadoop大数据存储的朋友来说,首先了解一下云计算和云计算技术是有必要的。下面先是介绍云计算和云计算技术的: 云计算,是一种基于互联网的计算方式,通过这种方式,共...

一枚Sir
2014/08/07
120
0
#hadoop#单机(伪分布)安装及测试

tips:这个部署完全在以root用户操作,系统为ubuntu14.04,使用了Oracle JDK7_u55替换原来的OpenJDK 安装过程: 安装Java: 从自己的宿主机ftp服务器下载包: cd /usr/lib/jvmwget ftp://19...

Hochikong
2014/09/08
143
0
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
05/21
17
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
Hadoop(2015/8/19最新发行版2.7.1): 搭建一个单节点集群。官方文档翻译

根据官方文档边操作边翻译,如有谬误欢迎拍砖指正!大家一起学习。也欢迎推荐更多有用学习文档给我,谢谢! Hadoop: 搭建一个单节点集群。 Hadoop: 搭建一个单节点集群。 目的 先决条件 操作...

duty
2015/08/19
753
0

没有更多内容

加载失败,请刷新页面

加载更多

75、GridFS

GridFS是MongoDB提供的用于持久化存储文件的模块,CMS使用Mongo DB存储数据,使用FGridFS可以快速集成开发。 工作原理: 在GridFS存储文件是将文件分块存储,文件会按照256KB的大小分割成多个...

lianbang_W
40分钟前
4
0
js bind 绑定this指向

本文转载于:专业的前端网站➱js bind 绑定this指向 1、示例代码 <!DOCTYPE html><html lang="zh"> <head> <meta charset="UTF-8" /> <title>bind函数绑定this指向......

前端老手
42分钟前
4
0
CentOS Linux 7上将ISO映像文件写成可启动U盘

如今,电脑基本上都支持U盘启动,所以,可以将ISO文件写到U盘上,用来启动并安装操作系统。 我想将一个CentOS Linux 7的ISO映像文件写到U盘上,在CentOS Linux 7操作系统上,执行如下命令: ...

大别阿郎
49分钟前
4
0
深入vue-公司分享ppt

组件注册 全局注册 注册组件,传入一个扩展过的构造器 Vue.component('my-component', Vue.extend({/*...*/})) 注册组件,传入一个选项对象(自动调用Vue.extend) Vue.component('my-comp...

莫西摩西
50分钟前
4
0
gitlab重置管理员密码

登录gitlab服务器 [root@localhost bin]# sudo gitlab-rails console productionLoading production environment (Rails 5.2.3)irb(main):001:0> u = User.where(email: 'admin@example.co......

King华仔o0
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部