文档章节

Ubuntu10.4安装配置Hadoop-0.20.203.0入门

怪蜀黍
 怪蜀黍
发布于 2012/02/06 22:13
字数 618
阅读 951
收藏 5
1.安装Sun公司的jdk1.6 并且,JAVA_HOME环境变量已经指向jdk的安装目录。(详细见   Ubuntu10.4下手动安装SUN公司的jdk1.6[整理])
2.下载稳定版的hadoop的安装包,解压到/opt/目录下
3.命令行下运行 
$ sudo gedit /etc/profile
在文件最后添加
#set Hadoop environment
export HADOOP_INSTALL=/opt/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin
设置Hadoop的安装位置的环境变量
4.运行hadoop version 命令来测试是否成功(需要重启)
5.配置:
   1)独立模式:
      在此模式下,不需要特别的配置操作,只需要在/conf目录中的hadoop-env.sh中设置java jdk的HAVA_HOME环境变量
   2)伪分布式模式:
      自此模式下,需要配置3个配置文件(在conf/目录下的core-site.xml  hdfs-site.xml mapred-site.xml)
       
<!--core-site.xml  -->
<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost/</value>
   </property>
</configuration>
<!--hdfs-site.xml -->
<configuration>
     <property>
        <name>dfs.replication</name>
        <value>1</value><!--设置副本为1,程序就不会试图复制的其他的机器上,就不会产生副本无法复制的警告-->
     </property>
</configuration>
<!--mapred-site.xml-->
<configuration>
    <property>
       <name>mapred.job.tracker</name>
       <value>localhost:8021</value>
    </property>
</configuration>


6.配置SSH
%sudo apt-get install ssh

   基于空口令创建一个新的SSH密钥,以启动无密码登录
%ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
%cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

以上命令是Hadoop实战中的配置方法,使用了linux系统的工具,我个人强烈建议使用ssh自带的id生成和拷贝命令,以防止错误的发生:
$ ssh-keygen   #然后一直回车到结束
$ ssh-copy-id -i ~/.ssh/id_rsa.pub 你的用户名@localhost
    用以下指令测试:
%   ssh localhost

    如果成功,则无须输入密码。
    若出现“ Agent admitted failure to sign using the key”的错误提示,需要将你的私钥加入到ssh中:
#解決方式使用 ssh-add 指令将私钥 加进来 根据个人的密匙命名不同更改 id_rsa
% ssh-add  ~/.ssh/id_rsa

如果你发现什么22端口拒绝连接之类的错误,是因为你的ssh服务没有启动,输入命令:
$  sudo /etc/init.d/sshd start

来启动ssh服务,之后照着上面做就可以了。
7.格式化HDFS文件系统:
%hadoop namenode -format



8.启动和终止守护进程
%start-dfs.sh
%start-mapred.sh

  本地计算机将启动三个守护进程 一个namenode 一个辅助namenode和一个datanode
  在http://localhost:50030/查看jobtracker或在http://localhost:50070/查看namenode  java的jps命令也可以查看守护进程是否在运行。
%stop-dfs.sh
%stop-mapred.sh
未完 待续

© 著作权归作者所有

怪蜀黍
粉丝 9
博文 24
码字总数 7680
作品 0
海淀
程序员
私信 提问
加载中

评论(3)

jacksu
jacksu

引用来自“怪蜀黍”的评论

引用来自“su0919”的评论

先要格式化然后启动

ok 改了

因为我最近在捣鼓这个,^_^
怪蜀黍
怪蜀黍 博主

引用来自“su0919”的评论

先要格式化然后启动

ok 改了
jacksu
jacksu
先要格式化然后启动
基于Eclipse的Hadoop应用开发环境配置

基于Eclipse的Hadoop应用开发环境配置 我的开发环境: 操作系统centos5.5 一个namenode 两个datanode Hadoop版本:hadoop-0.20.203.0 Eclipse版本:eclipse-java-helios-SR2-linux-gtk.tar.g...

cookqq
2014/01/03
83
0
完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群

前文说到如何搭建集群中第一个节点,这篇将说到如何向集群添加节点。这篇是基于前文的,没有看过前文的可以参考此链接:http://www.cnblogs.com/mikelij/archive/2012/03/06/2380937.html 2 ...

mikelij
2012/03/11
0
0
实战 windows7 下 eclipse 远程调试 linux hadoop

恩,之所以有这篇博客,是因为最近又有童鞋咨询怎么在 windows 7 下用eclipse远程调试部署在linux下的hadoop,其实我自己不这么混搭的,既然有童鞋这么问了,那我就索性随着折腾一把了。 首先...

大数据之路
2013/04/15
18.8K
13
HBase版本匹配问题:HBase-0.90.4与Hadoop-0.20.203.0

转自:http://javoft.net/2011/09/hbase-hmaster-%E6%97%A0%E6%B3%95%E5%90%AF%E5%8A%A8-call-to-failed-on-local-exception/ 前提是HBase-0.90.4与Hadoop-0.20.203.0 以下两行红字可以解决H......

朱坤朋
2011/12/19
448
0
hadoop格式化失败原因:format is aborted

user6@das0 hadoop-0.20.203.0]$ bin/hadoop namenode -format 12/02/20 14:05:17 INFO namenode.NameNode: STARTUP_MSG: Re-format filesystem in /data0/hadoop-name ? (Y or N) y Format ......

liangtee
2013/03/17
104
0

没有更多内容

加载失败,请刷新页面

加载更多

springboot 403 问题

添加WebAppConfigurer 配置 @Configuration@EnableAutoConfigurationpublic class WebAppConfigurer extends WebMvcConfigurerAdapter { public WebAppConfigurer() { } ......

布袋和尚_爱吃鱼
13分钟前
3
0
Python自动更换壁纸爬虫与tkinter结合

直接上代码 import ctypesimport timeimport requestsimport osfrom threading import Threadfrom tkinter import Tk, Label, Button,Entry,StringVar,messagebox# '放到AppData\Roami......

物种起源-达尔文
14分钟前
2
0
Postgresql Study 笔记

Postgresql 安装 Windows, MAC Install Postgresql 下载地址: https://www.enterprisedb.com/downloads/postgres-postgresql-downloads Linux Install sudo apt-get update sudo apt-get in......

slagga
16分钟前
3
0
layer.open 打开新页面传参问题

如图所示,点击出售,把A页面的数据传到弹框上面,因为弹框比较复杂,所以使用引入一个新页面。 A.html a.js B.html b.js 1、第一种方案 sellInte: function (){ var obj = document.g...

木九天
19分钟前
3
0
沙龙报名 | 区块链数据服务技术应用实践

京东云是国内首家提供区块链数据在线分析服务产品的公司,也是行业内首家对区块链数据服务进行开源的公司。 本次沙龙是京东云BDS开源后,首次在深圳举办线下沙龙,我们将邀请京东云BDS团队核...

京东云技术新知
19分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部