文档章节

Hadoop2安装——单机模式

tngou
 tngou
发布于 2012/12/01 22:53
字数 479
阅读 10957
收藏 156


Hadoop有三种模式 单机模式、伪分布模式和完全分布模式
这里先简单介绍单机模式 ,默认情况下,Hadoop被配置成一个非分布式模式,独立运行JAVA进程,适合开始做调试工作。

Hadoop 网址http://hadoop.apache.org/       OSC地址 http://www.oschina.net/p/hadoop

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha

安装前确定java安装 略

一、拷贝到/usr/local  解压 hadoop

cp hadoop-2.0.2-alpha.tar.gz /usr/local
cd /usr/local
tar -zxvf hadoop-2.0.2-alpha.tar.gz

    目录结构和配置文件这里就 省略()

二、修改配置文件 hadoop-env.sh
    Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下,由于默认情况下是单机模式,一般不用做修改就可以直接做第三步测试实例,下面只是安装实际情况修改。

 1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME}  如果原来在环境变量中配置过,就可用使用默认的,不需修改

export JAVA_HOME=/opt/java
/opt/java 也就是jdk安装的路径 

2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m,当运行hadoop的一些自带的实例会报内存溢出,其实这里是可以修改内存大小
如果不需要也不必修改。
 export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

三、运行实例 Hello Hadoop

切换到该安装目录下,建立要上传到hadoop的两个文件 test1.txt、test2.txt

mkdir input
cd input
echo "hello world" > test1.txt
echo "hello hadoop" > test2.txt
cd ..
运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数
$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output


bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output

查看结果


$cat output/*
hadoop 1
hello 2
world 1

OK,Hadoop单机模式就OK了


© 著作权归作者所有

tngou

tngou

粉丝 91
博文 133
码字总数 53069
作品 8
成都
个人站长
私信 提问
加载中

评论(12)

cuiran
cuiran
不错,还是需要多多练习。
廖君
廖君
mark
Y
YuChao
bin/hadoop jar ~/Downloads/hadoop-2.0.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output
黄健武
黄健武

引用来自“余杰”的评论

单机版有什么意义?

太有意义了。。学习得慢慢来,不能一口吃成胖子
weiwang
weiwang
hadoop 装了几次,都表示失败的飘过啊~~~
laoqvan
laoqvan
电脑都搞高配了,准备在虚拟机的天下搞这个分布式,很是期待它的鬼斧神工!
Y
YuChao
赶紧写个伪分布的,在写个集群的。。
tngou
tngou 博主

引用来自“余杰”的评论

单机版有什么意义?

相当于一个java程序,测试一些命令
这个男人来自地球
这个男人来自地球
单机版有什么意义?
Anterior
Anterior
hadoop2是不是从0.22.x那个版本过去的呢?
Hadoop2安装——伪分布式模式

继 Hadoop2安装——单机模式 http://my.oschina.net/mynote/blog/93340 首先需要安装ssh 安装略 一、免密码ssh设置 ssh-keygen -t rsa 一直按<Enter> 由于不设置密码,所以就一直回车就行。 ...

tngou
2012/12/03
9K
8
Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(3)Hadoop高可用(HA)

第三阶段: Hadoop高可用(HA) 0. 步骤概述 1. 为完全分布式保存hadoop配置 1.1 进入$HADOOP_HOME/etc/目录 1.2 备份hadoop完全分布式配置,命名为hadoop-full,供以后使用 1.3 查看$HADOOP_HOM...

bigablecat
2018/01/03
0
0
VMware 下Hadoop集群环境搭建之虚拟机克隆,Hadoop环境配置

在上一篇我们完成了ContOS网络配置以及JDK的安装,这一篇将在上一篇的基础上继续讲解虚拟机的克隆,hadoop环境搭建 传送门: VMware 下Hadoop集群环境搭建之新建虚拟机 VMware 下Hadoop集群环境...

lljjyy001
2018/05/05
0
0
(完整,亲测)docker hadoop 2.7.1

0.准备工作 下载 centos [root@bogon soft]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEdocker.io/centos latest d123f4e55e12 7 days ago 196.6 MB 1.创建centos-ssh-root 1.1 创建......

curiousby
2017/11/17
0
0
HBase(二):HBase安装

一:准备 HBase和Hadoop一样支持三种运行模式:单机模式,伪分布模式和完全分布模式。而安装伪分布模式时,务必确保Hadoop也运行在相应的模式下。 Hadoop的安装:http://my.oschina.net/gen...

牧羊人Berg
2016/05/12
100
0

没有更多内容

加载失败,请刷新页面

加载更多

Java描述设计模式(11):观察者模式

本文源码:GitHub·点这里 || GitEE·点这里 一、观察者模式 1、概念描述 观察者模式是对象的行为模式,又叫发布-订阅(Publish/Subscribe)模式。观察者模式定义了一种一对多的依赖关系,让多...

知了一笑
52分钟前
6
0
Qt 之 模态、非模态、半模态窗口的介绍及 实现QDialog的exec()方法

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/GoForwardToStep/article/details/53667566 一、简述 先简...

shzwork
56分钟前
4
0
OSChina 周一乱弹 —— 产品经理和程序员是夫妻?

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 小小编辑推荐:《Ocean Eyes》- Billie Eilish 《Ocean Eyes》- Billie Eilish 手机党少年们想听歌,请使劲儿戳(这里) @夏目Jane :风太大。...

小小编辑
今天
603
8
使用CSS自定义属性构建骨架屏

写在前面 几天前看到薄荷前端团队分享的《前端骨架屏方案小结》,突然回想起一年前看到的max bock写的《Building Skeleton Screens with CSS Custom Properties》,翻译整理写下出此文,分享...

前端老手
昨天
18
0
Docker常用命令小记

除了基本的<font color="blue">docker pull</font>、<font color="blue">docker image</font>、<font color="blue">docker ps</font>,还有一些命令及参数也很重要,在此记录下来避免遗忘。 ......

程序员欣宸
昨天
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部