Windows上安装HADOOP单机伪分布式集群

原创
2015/04/08 06:03
阅读数 3K

1、准备HADOOP运行环境

下载解压并拷贝到Cygwin的用户主目录

http://archive.apache.org/dist/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

1.x版本有BUG,参考:

https://issues.apache.org/jira/browse/HADOOP-7682
https://issues.apache.org/jira/browse/HADOOP-8274

BUG修复请参考:

http://en.wikisource.org/wiki/User:Fkorning/Code/Hadoop-on-Cygwin

 

/home/ysc/.bashrc 中追加:

export  JAVA_HOME=/home/ysc/jdk1.7.0_17

export  PATH=/home/ysc/hadoop-0.20.2/bin:$JAVA_HOME/bin:$PATH

hadoop-0.20.2/conf/hadoop-evn.sh中追加

export  JAVA_HOME=/home/ysc/jdk1.7.0_17

export  HADOOP_LOG_DIR=/tmp/logs

创建符号链接

mklink  /D  C:\tmp  C:\cygwin\tmp

重新登录就生效

ssh  localhost

which  hadoop

 

2、配置HADOOP运行参数

vi conf/core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>

 vi conf/hdfs-site.xml

 

<property>
  <name>dfs.replication</name>
 <value>1</value>
</property>

  vi conf/mapred-site.xml

 

<property>
 <name>mapred.job.tracker</name>
 <value>localhost:9001</value>
</property>
<property> 
 <name>mapred.tasktracker.map.tasks.maximum</name>
 <value>4</value>
</property> 
<property> 
 <name>mapred.tasktracker.reduce.tasks.maximum</name>
 <value>4</value>
</property>

                   

 

3、格式化名称节点并启动集群

hadoop namenode -format

 

4、启动集群并查看WEB管理界面

start-all.sh

访问http://localhost:50030可以查看 JobTracker 的运行状态

访问http://localhost:50060可以查看 TaskTracker 的运行状态

访问http://localhost:50070可以查看 NameNode 以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及 log 

 

5、停止集群

stop-all.sh

停止集群

 

 

 

 

 

展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部