文档章节

hadoop2.6.0版本搭建伪分布式环境

stark_summer
 stark_summer
发布于 2015/02/06 15:59
字数 733
阅读 601
收藏 21

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6.0版本集群环境搭建

一台虚拟机,配置信息如下:


内存:1G,cpu:一个core,硬盘:15G

1、修改下主机名为master

sudo vi /etc/sysconfig/network


修改结果后:


重启电脑后再查看结果:


修改主机名成功

2、修改hosts中的主机名:



修改后:




3、配置SSH


进入.ssh目录并生成authorized_keys文件:


授权.ssh/文件夹权限为700,authorized_keys文件权限为600(or 644):


ssh验证:



4、hadoop安装:

去官网下载hadoop最新安装包:http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下载并解压后:



修改系统配置文件,修改~/.bash_profile文件,增加HADOPP_HOME的bin文件夹到PATH中,修改后使用source命令使配置文件生效:



在hadoop目录下创建文件夹:



接下来开始修改hadoop的配置文件,首先进入hadoop2.6配置文件夹:


第一步修改配置文件hadoop-env.sh,加入"JAVA-HOME",如下所示:


指定我们安装的“JAVA_HOME”:



第二步修改配置文件"yarn-env.sh",加入"JAVA_HOME",如下所示:


指定我们安装的“JAVA_HOME”:


第三步 修改配置文件“mapred-env.sh”,加入“JAVA_HOME”,如下所示:


指定我们安装的“JAVA_HOME”:



第四步 修改配置文件slaves,如下所示:


设置从节点为master,因为我们是伪分布式,如下所示:


第五步 修改配置文件core-site.xml,如下所示:


修改core-site.xml文件后:


目前来说,core-site.xml文件的最小化配置,core-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml

第六步 修改配置文件 hdfs-site.xml,如下所示:


hdfs-site.xml文件修改后:


上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml


第七步 修改配置文件 mapred-site.xml,如下所示:

copy mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml,如下所示:


mapred-site.xml 修改后:


上述是mapred-site.xml最小化配置,mapred-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml


第八步 配置文件yarn-site.xml,如下所示:


yarn-site.xml修改后:


上述内容是yarn-site.xml的最小化配置,yarn-site文件配置的各项内容可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml


5、启动并验证hadoop伪分布式

第一步:格式化hdfs文件系统:




第二步:进入sbin中启动hdfs,执行如下命令:


此刻我们发现在master上启动了NameNode、DataNode、SecondaryNameNode

此刻通过web控制台查看hdfs,http://master:50070/ 





点击“Live Nodes”,查看一下其信息:


第三步:启动yarn


使用jps命令可以发现master机器启动了ResourceManager进程


PS:我们上传一个文件到hdfs吧:



hadoop web控制台页面的端口整理:

50070:hdfs文件管理

8088:ResourceManager

8042:NodeManager

19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)

© 著作权归作者所有

stark_summer
粉丝 61
博文 75
码字总数 51050
作品 0
朝阳
CEO
私信 提问
加载中

评论(2)

stark_summer
stark_summer 博主

引用来自“lee_ypp”的评论

扬扬洒洒,好乱啊!
这还复杂呀?按照步骤就可以慢慢的完成了~
lee_ypp
lee_ypp
扬扬洒洒,好乱啊!
ubuntu14.04搭建Hadoop2.9.0伪分布式环境

本文主要参考 给力星的博文——Hadoop安装教程单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 一些准备工作的基本步骤和步骤具体说明本文不再列出,文章中提到的“见参考”均指以上这篇博文,如...

osc_0s8midei
2018/03/05
2
0
ubuntu14.04搭建Hadoop2.9.0集群(分布式)环境

本文进行操作的虚拟机是在伪分布式配置的基础上进行的,具体配置本文不再赘述,请参考本人博文:ubuntu14.04搭建Hadoop2.9.0伪分布式环境 本文主要参考 给力星的博文——Hadoop集群安装配置教...

osc_0s8midei
2018/03/05
2
0
Ubuntu搭建Hadoop的踩坑之旅(三)

之前的两篇文章介绍了如何从0开始到搭建好带有JDK的Ubuntu的过程,本来这篇文章是打算介绍搭建伪分布式集群的。但是后来想想反正伪分布式和完全分布式差不多,所幸直接介绍完全分布式了。 如...

osc_9l5vqi8m
2018/03/06
2
0
在Mac上配置Hadoop伪分布式娱乐环境

去年我曾发文记录如何在Ubuntu上配置伪分布式版的Hadoop3娱乐环境:https://fuhailin.github.io/Hadoop-Install/ ,通过配置Hadoop娱乐环境你可以熟悉Hadoop的一些基本概念与操作方式,后来我...

赵大寳Note
03/31
0
0
Ubuntu搭建Hadoop的踩坑之旅(一)

本文将介绍如何使用虚拟机一步步从安装Ubuntu到搭建Hadoop伪分布式集群。 本文主要参考:在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境 - CSDN博客 一、所需的环境和软件:(以下是我们的...

osc_9l5vqi8m
2018/03/04
2
0

没有更多内容

加载失败,请刷新页面

加载更多

检测未定义的对象属性 - Detecting an undefined object property

问题: 检查JavaScript中的对象属性是否未定义的最佳方法是什么? 解决方案: 参考一: https://stackoom.com/question/79h/检测未定义的对象属性 参考二: https://oldbug.net/q/79h/Detec...

fyin1314
47分钟前
11
0
jasypt-spring-boot提示Failed to bind properties

1 问题描述 在Spring Boot中使用jasypt-spring-boot进行加密,但是提示: Description:Failed to bind properties under 'spring.datasource.password' to java.lang.String: Reason:......

氷泠
今天
29
0
在git 2.13之前,只保存多个已更改的文件中的一个文件

问题: 如何在我的分支上只隐藏多个已更改文件中的一个? 解决方案: 参考一: https://stackoom.com/question/Cl3h/在git-之前-只保存多个已更改的文件中的一个文件 参考二: https://oldb...

技术盛宴
今天
30
0
SQL笔记:把Excel的数据导入MySQL中作运算

很多Excel用户都知道,Excel单个工作簿单张表存储的数据量很有限(旧版本月60多万条记录,新版本也才104万条不到),而且Excel中,因为自带各种格式与公式,兼之高度封装性等原因,导致Excel...

tengyulong
今天
15
0
Qt创建Application的文件依赖浅析

在使用QtCreator创建Application程序时,会自动创建***.ui文件,在文件夹“build-***-Desktop_Qt_***-Debug”中生成ui_***.h,***.ui可以通过QtDesigner进行调整,同时还会在***.ui的文件夹内...

qwz185_堡垒
今天
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部