文档章节

Hadoop本地和为分布式安装

Sylarlove
 Sylarlove
发布于 2014/04/13 18:23
字数 754
阅读 60
收藏 0

一、预备知识

a) 支持平台

GNU/Linux的开发平台和生产平台都支持。

Windows也支持(不推荐,这篇文章也不讲)。

b) 必须的软件

i. hadoop是java开发的,所以必须安装java环境。

ii. 需要启动sshd服务,hadoop要通过ssh管理远程守护进程。

c) 安装软件

如果你的集群没有安装上面所说的软件,你首先需要安装它们。

i. 安装java。

ii. 安装ssh。

二、下载

  下载hadoop2.4版本。

三、准备启动hadoop

解压下载的hadoop压缩包。编辑文件etc/hadoop/hadoop-env.sh。添加或定义下面两个参数:

#设置java安装目录
export JAVA_HOME=/usr/java/jdk_***
#设置你的hadoop安装目录
export HADOOP_PREFIX=/usr/local/hadoop

使用下面的命令进行验证:

bin/hadoop

如果设置成功会显示hadoop命令的使用文档。

现在你能够使用下面三种方式安装你的hadoop集群了。

本地模式

伪分布模式

分布模式

四、本地模式

Hadoop默认配置就是本地模式,在一个java进程中允许hadoop。这中模式常用来进行调试。

用下面的方式进行验证一下:

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

如果output中有结果就对了。

cat output/*

五、伪分布模式

Hadoop也可以在一个单节点上一以伪分布的方式运行。Hadoop的每个守护进程分别以不同的java进程运行。

a) 配置

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

b) Ssh免密码登录

Ssh免密码登录

c) 启动

下面的例子是在本地运行mapreduce程序,如果你想在yarn上运行mapreduce,请看yarn单节点安装。

i. 格式化文件系统。

bin/hdfs namenode -format

ii. 启动namenode守护进程和datanode守护进程:

sbin/start-dfs.sh

Hadoop守护进程日志输出目录通过$HADOOP_LOG_DIR指定(默认为$HADOOP_HOME/logs)

iii. 通过浏览器浏览namenode:

http://localhost:50070/

iv. hdfs上创建文件夹,用来执行mapreduce程序。

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/<username>

v. 复制文件到hdfs上:

bin/hdfs dfs -put etc/hadoop input

vi. 运行示例程序

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar grep input output 'dfs[a-z.]+'

vii. 检查输出文件

bin/hdfs dfs -cat output/*

viii. 关闭hdfs守护进程。

sbin/stop-dfs.sh

六、Yarn单点安装

通过设置一些参数,并运行ResourceManagers守护进程和NodeManager守护进程。我们也可以在yarn上以伪分布模式运行mapreducer任务。

a) 配置

etc/hadoop/mapred-side.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

     etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

b) 启动ResourceManager守护进程和NodeManager 守护进程。

sbin/start-yarn.sh

c) 通过浏览器查看ResourceManager:

http://localhost:8088/


d) 运行mapreduce任务。

e) 运行完任务的时候,关闭守护进程

sbin/stop-yarn.sh


七、 分布式安装


© 著作权归作者所有

Sylarlove
粉丝 5
博文 1
码字总数 754
作品 0
济南
程序员
私信 提问
hadoop本地(独立)模式-安装

本人博客开始迁移,博客整个架构自己搭建及编码http://www.cookqq.com/listBlog.action 本地(独立)模式 Hadoop的默认配置即为本地模式,此时Hadoop使用本地文件系统而非分布式文件系统,而且...

cookqq
2013/04/11
3K
0
CentOS 64位系统进行Hadoop2.3.0本地编译及完全分布式集群的部署

本文是在小编的博文《 基于Hadoop1.2.1完全分布式集群的部署 》的基础上写作的,所有硬件环境跟之前博文的硬件环境一模一样,因此本文不想再这方面费过多的口舌,关于hosts配置、JDK的安装和...

灯下黑鬼吹灯
2016/11/28
107
0
好程序员大数据笔记之:Hadoop集群搭建

在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天集中总结以下笔记,希望对各位同学...

好程序员IT
2019/05/21
17
0
开始使用Hadoop集群上的TensorFlowOnSpark

https://github.com/yahoo/TensorFlowOnSpark/wiki/GetStarted_YARN 开始使用Hadoop集群上的TensorFlowOnSpark GetStarted_YARN leewyang编辑本页 20 days ago · 7修订 第6页 家 转换 Crea......

天池番薯
2017/03/21
446
0
Docker搭建Hadoop集群

在学习Hadoop过程中,想要搭建Hadoop分布式集群,往往需要几台服务器或者再一台机器上搭建几台虚拟机;这两种方式搭建Hadoop集群都不是很方便,个人很少自己拥有几台服务器,或者电脑内存够大...

凌得涂
2018/05/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

应急广播户户通平台

一、平台概述 应急广播户户通平台为软硬一体化广播服务解决方案。实现了应急广播、视音频及图片文字信息、调频及数字广播FM、天气预报信息接收功能,以及视音频播放、智能机器人、电子日历等...

neocean
40分钟前
47
0
如何为Apache 2.2启用mod_rewrite

我已经在我的Vista机器上安装了新的Apache 2.2,一切正常,除了mod重写。 我没有注释 LoadModule rewrite_module modules/mod_rewrite.s 但是我的重写规则都没有,即使是简单的重写规则 Re...

javail
46分钟前
23
0
移除Python unicode字符串中的重音符号的最佳方法是什么?

我在Python中有一个Unicode字符串,我想删除所有的重音符号(变音符号)。 我在网上发现了一种用Java实现此目的的优雅方法: 将Unicode字符串转换为长规范化格式(带有单独的字母和变音符号)...

技术盛宴
今天
48
0
ActiveMQ学习之SpringBoot整合ActiveMQ------>主题生产者和消费者

一、pom <!--聚合工程集成关系--> <!--统一整合第三方框架依赖信息--> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</a......

冥焱
今天
89
0
两周自制脚本语言-第11天 优化变量读写性能

第11天 优化变量读写性能 以变量值的读写为例,向读者介绍基于这种理念的语言处理器性能优化方式。 11.1 通过简单数组来实现环境 假如函数包含局部变量x与y,程序可以事先将x设为数组的第0个...

果汁分你一半
今天
58
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部