文档章节

hadoop2.6.0版本搭建伪分布式环境

stark_summer
 stark_summer
发布于 2015/02/06 15:59
字数 733
阅读 566
收藏 21
点赞 0
评论 2

由于个人需要在自己的笔记本上搭建hadoop伪分布环境,为了方便自己使用,如想看机器也看之前的一篇博客:hadoop2.6.0版本集群环境搭建

一台虚拟机,配置信息如下:


内存:1G,cpu:一个core,硬盘:15G

1、修改下主机名为master

sudo vi /etc/sysconfig/network


修改结果后:


重启电脑后再查看结果:


修改主机名成功

2、修改hosts中的主机名:



修改后:




3、配置SSH


进入.ssh目录并生成authorized_keys文件:


授权.ssh/文件夹权限为700,authorized_keys文件权限为600(or 644):


ssh验证:



4、hadoop安装:

去官网下载hadoop最新安装包:http://apache.fayea.com/hadoop/common/hadoop-2.6.0/

下载并解压后:



修改系统配置文件,修改~/.bash_profile文件,增加HADOPP_HOME的bin文件夹到PATH中,修改后使用source命令使配置文件生效:



在hadoop目录下创建文件夹:



接下来开始修改hadoop的配置文件,首先进入hadoop2.6配置文件夹:


第一步修改配置文件hadoop-env.sh,加入"JAVA-HOME",如下所示:


指定我们安装的“JAVA_HOME”:



第二步修改配置文件"yarn-env.sh",加入"JAVA_HOME",如下所示:


指定我们安装的“JAVA_HOME”:


第三步 修改配置文件“mapred-env.sh”,加入“JAVA_HOME”,如下所示:


指定我们安装的“JAVA_HOME”:



第四步 修改配置文件slaves,如下所示:


设置从节点为master,因为我们是伪分布式,如下所示:


第五步 修改配置文件core-site.xml,如下所示:


修改core-site.xml文件后:


目前来说,core-site.xml文件的最小化配置,core-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/core-default.xml

第六步 修改配置文件 hdfs-site.xml,如下所示:


hdfs-site.xml文件修改后:


上述是hdfs-site.xml文件的最小化配置,hdfs-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml


第七步 修改配置文件 mapred-site.xml,如下所示:

copy mapred-site.xml.template命名为mapred-site.xml,打开mapred-site.xml,如下所示:


mapred-site.xml 修改后:


上述是mapred-site.xml最小化配置,mapred-site.xml各项配置可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml


第八步 配置文件yarn-site.xml,如下所示:


yarn-site.xml修改后:


上述内容是yarn-site.xml的最小化配置,yarn-site文件配置的各项内容可参考:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml


5、启动并验证hadoop伪分布式

第一步:格式化hdfs文件系统:




第二步:进入sbin中启动hdfs,执行如下命令:


此刻我们发现在master上启动了NameNode、DataNode、SecondaryNameNode

此刻通过web控制台查看hdfs,http://master:50070/ 





点击“Live Nodes”,查看一下其信息:


第三步:启动yarn


使用jps命令可以发现master机器启动了ResourceManager进程


PS:我们上传一个文件到hdfs吧:



hadoop web控制台页面的端口整理:

50070:hdfs文件管理

8088:ResourceManager

8042:NodeManager

19888:JobHistory(使用“mr-jobhistory-daemon.sh”来启动JobHistory Server)

© 著作权归作者所有

共有 人打赏支持
stark_summer
粉丝 59
博文 75
码字总数 51050
作品 0
朝阳
CEO
加载中

评论(2)

stark_summer
stark_summer

引用来自“lee_ypp”的评论

扬扬洒洒,好乱啊!
这还复杂呀?按照步骤就可以慢慢的完成了~
lee_ypp
lee_ypp
扬扬洒洒,好乱啊!
搭建spark on yarn集群全过程

搭建spark on yarn集群全过程 Mz的博客2016-03-24225 阅读 大数据SparkHadoopYarn 机器配置 在VMware上创建4个虚拟机来搭建集群。其中一个master,三个salve。 每台虚拟机配置1G内存,1核CPU...

Mz的博客
2016/03/24
0
0
【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示: 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在,在我们刚刚构建的伪分布式模式下运行wordcount程序: 运行完成后...

Spark亚太研究院
2014/08/27
0
0
Hadoop 在Centos7上的伪分布式搭建

安装 SSH 客户端 安装SSH: 安装完成后,可以使用下面命令进行测试: 输入root账户的密码,如果可以正常登录,则说明SSH安装没有问题。测试正常后使用exit命令退出ssh。 安装 JAVA 环境 安装...

Menzel3
2017/11/03
0
0
Hadoop(2015/8/19最新发行版2.7.1): 搭建一个单节点集群。官方文档翻译

根据官方文档边操作边翻译,如有谬误欢迎拍砖指正!大家一起学习。也欢迎推荐更多有用学习文档给我,谢谢! Hadoop: 搭建一个单节点集群。 Hadoop: 搭建一个单节点集群。 目的 先决条件 下载...

duty
2015/08/19
704
0
运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇《Hadoop初体验:快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例。 1.使用示例程序实现单词统计 (1)wordc...

xpleaf
2017/09/03
0
0
大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶
05/05
0
0
spark1.4 Windows local调试环境搭建总结

spark1.4 Windows local调试环境搭建总结 1.scala版本scala-2.10.4 官方推荐scala-2.11.7【不推荐,非sbt项目、需要后加载】 2.spark版本spark-1.4.0-bin-hadoop2.6.tgz 3.hadoop3.1版本had...

北京起航
2015/07/08
0
0
【Hadoop脱坑】基于HPC集群节点的Hadoop完全分布式环境搭建以及Hadoop编程

正文之前 上一篇文章就说过了,实验室的温暖我终于感受到了~借到了来自实验室的HPC集群的两个节点。。虽然只有两个,但是也很棒了!! 申请机器配置要求:集群节点配置,2*8核CPU,64GBDDR3内...

HustWolf
06/11
0
0
hadoop 伪集群搭建

以前安装过Hadoop几个版本的单机版,主要是为了研究Hadoop源代码,现在想更加深入Hadoop整个生态系统,选择安装Hadoop完全分布式,由于目前Hadoop最新版本为2.6,于是选择这个版本安装使用 ...

MtrS
2016/04/27
11
0
spark1.2.0版本搭建伪分布式环境

、下载scala2.11.5版本,下载地址为:http://www.scala-lang.org/download/2.11.5.html 2、安装和配置scala: 第一步:上传scala安装包 并解压 第二步 配置SCALAHOME环境变量到bashprofile 第...

stark_summer
2015/02/09
0
2

没有更多内容

加载失败,请刷新页面

加载更多

下一页

expect脚本同步文件、expect脚本指定host和要同步的文件、构建文件分发系统

expect脚本同步文件 更改权限 执行脚本 查看执行结果 expect eof需要加上,作用是等脚本命令执行完再进行退出 expect脚本指定host和要同步的文件 更改权限,执行脚本 构建文件分发系统 需求背...

Zhouliang6
19分钟前
1
0
Hive应用:外部分区表

Hive应用:外部分区表 介绍 Hive可以创建外部分区表。创建表的时候,分区要在建表语句中体现。建完之后,你不会在表中看到数据,需要进行分区添加,使用alter语句进行添加。然后数据才会显示...

星汉
29分钟前
0
0
点击Enter登录

1. 效果 2. 实现过程(记得引入jq文件) //6.回车事件 登录 $(function() { document.onkeydown = function(event) { var e = event || window.event || arguments.callee.caller.arguments......

Lucky_Me
35分钟前
1
0
点击菜单内容切换

<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <style> .menu{ height: 38px; background-color: #eeeeee; line-height: 38px; } .mao{ ......

南桥北木
今天
1
0
OSChina 周六乱弹 —— 妹子和游戏哪个更好玩

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @andonny :分享唐朝乐队的单曲《国际歌》 《国际歌》- 唐朝乐队 手机党少年们想听歌,请使劲儿戳(这里) @举个栗子- :日常祈雨 邪恶的大祭...

小小编辑
今天
494
6
流利阅读笔记32-20180721待学习

“人工智能”造假:只有人工,没有智能 Lala 2018-07-21 1.今日导读 当今社会,擅长单个方面的人工智能已经盛行,手机借助 AI 智慧防抖技术帮助大家拍出清晰照片,谷歌研发的 AI 助手将可以帮...

aibinxiao
今天
7
0
我的成长记录(一)

今天突然精神抖擞,在我的博客下新开一项分类>成长记录,专门记录每隔一段时间我的一点感悟吧。因为今天才专门花时间新开这样一个分类,所以以前有过的一些感悟没有记录下来,现在已经想不起...

dtqq
今天
1
0
机器学习管理平台 MLFlow

最近工作很忙,博客一直都没有更新。抽时间给大家介绍一下Databrick开源的机器学习管理平台-MLFlow。 谈起Databrick,相信即使是不熟悉机器学习和大数据的工程湿们也都有所了解,它由Spark的...

naughty
今天
12
0
idea tomcat 远程调试

tomcat 配置 编辑文件${tomcat_home}/bin/catalina.sh,在文件开头添加如下代码。    CATALINA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=7829" Idea端配......

qwfys
今天
2
0
遍历目录下的文件每250M打包一个文件

#!/usr/bin/env python # -*- utf-8 -*- # @Time : 2018/7/20 0020 下午 10:16 # @Author : 陈元 # @Email : abcmeabc@163.com # @file : tarFile.py import os import tarfile import thr......

寻爱的小草
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部