文档章节

Ubuntu11.10下安装Hadoop1.0.0(单机伪分布式)

七七仙人掌
 七七仙人掌
发布于 2012/01/10 09:58
字数 561
阅读 5789
收藏 11

环境配置:Ubuntu11.10,Hadoop1.0.0

Ubuntu11.10

安装ssh

apt-get install ssh

安装rsync

apt-get install rsync

配置ssh免密码登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys

验证是否成功

ssh localhost

下载Hadoop1.0.0,JDK

新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。

mkdir /home/app

接下来,安装Java和Hadoop,Hadoop解压即可。

cd /home/app
chmod +x jdk-6u30-linux-i586.bin
./jdk-6u30-linux-i586.bin

tar zxf hadoop-1.0.0-bin.tar.gz

配置JDK环境变量

vi /etc/profile

增加下面语句到最后

export JAVA_HOME=/home/app/jdk1.6.0_30
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

接下来开始配置Hadoop

进入Hadoop目录

cd /home/app/hadoop-1.0.0

修改配置文件,指定JDk安装路径

vi conf/hadoop-env.sh

export JAVA_HOME=/home/app/jdk1.6.0_30

修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号

vi conf/core-site.xml

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://localhost:9000</value>	
	</property>
</configuration>

修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1

vi conf/hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口

vi conf/mapred-site.xml

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>localhost:9001</value>
	</property>
</configuration>

接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令

bin/hadoop namenode -format

然后启动Hadoop,输入命令

bin/start-all.sh

这个命令为所有服务全部启动。

最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:

http://localhost:50030    (MapReduce的Web页面)

http://localhost:50070    (HDfS的web页面)

如果都能查看,说明安装成功。

Hadoop分别从三个角度将主机划分为两种角色:

第一,划分为master和slave,即主人与奴隶

第二,从HDFS的角度,将主机划分为namenode和datanode(在分布式文件系统中,目录的管理很重要,管理目录的就相当于主人,而namenode就是目录管理者)。

第三,从MapReduce的角度,将主机划分为JobTracker和TaskTracker(一个job经常被划分为多个task,从这个角度不难理解它们之间的关系)。

© 著作权归作者所有

七七仙人掌
粉丝 13
博文 4
码字总数 6282
作品 0
大连
程序员
私信 提问
加载中

评论(9)

天_下_无_双
天_下_无_双
谢谢!顶
将将将
将将将
没啥问题 不好意思
七七仙人掌
七七仙人掌 博主

引用来自“ahai”的评论

bin/hadoop namenode -format ?

有什么问题?
将将将
将将将
bin/hadoop namenode -format ?
H
HarryF
不错,按照这个办法,安装很顺利
a
achille
谢谢分享~
七七仙人掌
七七仙人掌 博主

引用来自“高小猛”的评论

http://lcoalhost:50070 (HDfS的web页面)中应写为localhost,整体写的非常不错,谢谢!

已经修改,谢谢!
高小猛
http://lcoalhost:50070 (HDfS的web页面)中应写为localhost,整体写的非常不错,谢谢!
郝倩
顶!顶!顶!
hadoop单机伪分布式安装

@七七仙人掌 你好,想跟你请教个问题:我是个新手,有几个问题: 1、一定要在ubuntu11.10下进行吗??比它低的版本可以吗??我的是10.04 2、ssh安装时会提示openssh-server ssh不能通过验证...

MR_chenxj
2012/07/24
511
1
第 16 章 Apache Hbase

目录 16.1. 安装 Apache Hbase 16.2. 配置 Apache Hbase 16.3. Hbase Shell 16.4. Web UI 16.5. Phoenix 16.6. FAQ 注意:Apache Hbase 不能使用 OpenJDK 启动,需要去 Oracle 网站下载 Serv......

玄学酱
2018/01/03
0
0
关于学习Hadoop中未总结的资料

1)Cygwin相关资料   (1)Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案   地址:http://blog.163.com/pwcrab/blog/static/16990382220107267443810/   (2)windows...

Carl_
2015/06/25
36
0
Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Hadoop在处理海量数据分析方面具有独天优势。今天花时间在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下。 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式...

Carl_
2015/06/24
94
0
hadoop单机模式和伪分布式,全分布式的区别

单机模式(standalone) 单机模式是Hadoop的默认模式。这种模式在一台单机上运行,没有分布式文件系统,而是直接读写本地操作系统的文件系统。当首次解压Hadoop的源码包时,Hadoop无法了解硬...

Anuge
2017/10/29
924
0

没有更多内容

加载失败,请刷新页面

加载更多

常用正则表达式整理

本文转载于:专业的前端网站➩常用正则表达式整理 /*以下为亲自验证过,备用*/   数字,0-100,包含0和100,且小数点后最多有三位: /^(\d{1,2}(\.\d{1,3})?|100)$/ 匹配正整数:^[1-9]*[1-9][...

前端老手
5分钟前
0
0
Java 中可重入锁、不可重入锁的测试

Java 中可重入锁、不可重入锁的测试 可重入锁 指在同一个线程在外层方法获取锁的时候,进入内层方法会自动获取锁。 为了避免死锁的发生,JDK 中基本都是可重入锁。 下面我们来测试一下 sync...

ConstXiong
5分钟前
0
0
怎么给视频变音

怎么让录制视频中的声音变得可爱吗?其实方法非常的简单,只要进行视频变音制作就好了,那怎么给视频变音呢?下面就一起来看看视频变音的具体制作方法吧! 具体步骤如下: 第一步: 打开手机...

白米稀饭2019
10分钟前
2
0
学习记录(ECMAScript 6.0入门_day01重点总结)

课程目标 1、ECMAScript6和JAVAScript关系 ES6是JAVAScript的规格,JavaScript是ES6的一种实现。 变量声明: 局部变量:let 它的用法类似于var,但是所声明的变量,只在let命令所在的代码块内...

庭前云落
21分钟前
2
0
springboot 源码SpringApplication的run方法解析

public ConfigurableApplicationContext run(String... args) {//记录启动应用启动时间StopWatch stopWatch = new StopWatch();stopWatch.start();ConfigurableApplicationCo......

dudu
24分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部