文档章节

Ubuntu12.04 Hadoop单机搭建

R-Lu
 R-Lu
发布于 2014/02/27 17:24
字数 1226
阅读 4892
收藏 170


    一直都听别人说Hadoop,还是蛮神秘的,不过看介绍才知道这个是整分布式的.现在分布式,大数据都是挺火的,不得不让人去凑个热闹呀.

    先说下我的环境:


test1@test1-virtual:~/Downloads$ uname -a
Linux test1-virtual 3.11.0-17-generic #31~precise1-Ubuntu SMP Tue Feb 4 21:29:23 UTC 2014 i686 i686 i386 GNU/Linux




准备工作,Hadoop是Apache的产品,你懂的,这个当然和Java相关了,所以你得有一个Java编译器才行,不管你是OpenJDK,还是OraceJDK,你都要整一个不是.

详情可以见我另外一篇文章:http://my.oschina.net/robinsonlu/blog/170365


好了,进入正题。

1,我们得去Hadoop官网去下载,我这里选择最新的hadoop-2.3.0版本,其他版本记得甄别一下,毕竟测试环境,当然用最新的好了.

解压压缩包,复制到制定的位置.

test1@test1-virtual:~/Downloads$ tar -xvf hadoop-2.3.0.tar.gz 


test1@test1-virtual:~/Downloads$ sudo cp -r hadoop-2.3.0 /usr/local/hadoop/





2,为啥,我要说版本问题呢,因为,这个配置文件的位置,之前的版本和现在版本有很大差异的.

当然版本配置文件地址在


test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ ls -al
total 128
drwxr-xr-x 2 test1 test1  4096 Feb 27 15:09 .
drwxr-xr-x 3 test1 test1  4096 Feb 27 15:09 ..
-rw-r--r-- 1 test1 test1  3589 Feb 27 15:09 capacity-scheduler.xml
-rw-r--r-- 1 test1 test1  1335 Feb 27 15:09 configuration.xsl
-rw-r--r-- 1 test1 test1   318 Feb 27 15:09 container-executor.cfg
-rw-r--r-- 1 test1 test1   860 Feb 27 15:23 core-site.xml
-rw-r--r-- 1 test1 test1  3589 Feb 27 15:09 hadoop-env.cmd
-rw-r--r-- 1 test1 test1  3402 Feb 27 15:42 hadoop-env.sh
-rw-r--r-- 1 test1 test1  1774 Feb 27 15:09 hadoop-metrics2.properties
-rw-r--r-- 1 test1 test1  2490 Feb 27 15:09 hadoop-metrics.properties
-rw-r--r-- 1 test1 test1  9257 Feb 27 15:09 hadoop-policy.xml
-rw-r--r-- 1 test1 test1   984 Feb 27 15:27 hdfs-site.xml
-rw-r--r-- 1 test1 test1  1449 Feb 27 15:09 httpfs-env.sh
-rw-r--r-- 1 test1 test1  1657 Feb 27 15:09 httpfs-log4j.properties
-rw-r--r-- 1 test1 test1    21 Feb 27 15:09 httpfs-signature.secret
-rw-r--r-- 1 test1 test1   620 Feb 27 15:09 httpfs-site.xml
-rw-r--r-- 1 test1 test1 11169 Feb 27 15:09 log4j.properties
-rw-r--r-- 1 test1 test1   918 Feb 27 15:09 mapred-env.cmd
-rw-r--r-- 1 test1 test1  1383 Feb 27 15:09 mapred-env.sh
-rw-r--r-- 1 test1 test1  4113 Feb 27 15:09 mapred-queues.xml.template
-rw-r--r-- 1 test1 test1   758 Feb 27 15:09 mapred-site.xml.template
-rw-r--r-- 1 test1 test1    10 Feb 27 15:09 slaves
-rw-r--r-- 1 test1 test1  2316 Feb 27 15:09 ssl-client.xml.example
-rw-r--r-- 1 test1 test1  2268 Feb 27 15:09 ssl-server.xml.example
-rw-r--r-- 1 test1 test1  2178 Feb 27 15:09 yarn-env.cmd
-rw-r--r-- 1 test1 test1  4084 Feb 27 15:09 yarn-env.sh
-rw-r--r-- 1 test1 test1   772 Feb 27 15:30 yarn-site.xml




而我们要修改的配置文件有

hadoop-env.sh 找到JAVA_HOME,把它修改成这样.

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45




core-site.xml


test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ cat core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
</configuration>






hdfs-site.xml

test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ cat hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
</property>
</configuration>





yarn-site.xml(这个就是新增加的,代替以前mapred-site.xml)


test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ cat yarn-site.xml
<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>


3,更改Hadoop的权限,这个是必须的,因为启动的时候,系统会叫你输入当前启动用户密码,我们现在都是在root用户上操作,这个可不成。

test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ sudo chown -R test1:test1 /usr/local/hadoop/



4,现在基本配置就完成了,现在就可以启动一下看看模样了.

进入Hadoop主目录bin下,初始化namenode.

test1@test1-virtual:/usr/local/hadoop/bin$ ./hadoop namenode -format

在sbin下启动namenode和datanone.

test1@test1-virtual:/usr/local/hadoop/sbin$ ./hadoop-daemon.sh start namenode

test1@test1-virtual:/usr/local/hadoop/sbin$ ./hadoop-daemon.sh start datanode



启动Hadoop.

test1@test1-virtual:/usr/local/hadoop/sbin$ ./start-all.sh

上图:

访问http://172.16.80.228:50070/.




有开就关闭嘛.

test1@test1-virtual:/usr/local/hadoop/sbin$ ./stop-all.sh




© 著作权归作者所有

共有 人打赏支持
R-Lu

R-Lu

粉丝 13
博文 129
码字总数 41529
作品 0
浦东
程序员
私信 提问
加载中

评论(15)

R-Lu
R-Lu

引用来自“夜域诡士”的评论

引用来自“Kewin_Wang”的评论

这鸡巴 安装 也是新闻啊

火的都是基本的,你见过高深的,别人看不懂的,火了,开玩笑

谢谢支持,我会继续努力的.
一一叶
一一叶

引用来自“Kewin_Wang”的评论

这鸡巴 安装 也是新闻啊

火的都是基本的,你见过高深的,别人看不懂的,火了,开玩笑
R-Lu
R-Lu

引用来自“夜域诡士”的评论

一定火,赞一个

谢谢了.
一一叶
一一叶
一定火,赞一个
chazz
chazz

引用来自“Robinson_lu”的评论

引用来自“chazz”的评论

目测要火,前排留名。广告位出租。2

你问红薯,我能火嘛...

问:@红薯 这贴能火吗?
答:能。13
R-Lu
R-Lu

引用来自“chazz”的评论

目测要火,前排留名。广告位出租。2

你问红薯,我能火嘛...
R-Lu
R-Lu

引用来自“顾海林”的评论

建议你开三个虚拟机,一个NN,两个DN。

可以试试,还得再研究下.
chazz
chazz
目测要火,前排留名。广告位出租。2
顾海林
顾海林
建议你开三个虚拟机,一个NN,两个DN。
R-Lu
R-Lu

引用来自“撸蕉香的程猿序”的评论

感谢博主的分享

不用,我也是参考其他人的才写的.
ubuntu12.04下hadoop单机模式和伪分布模式环境搭建

1.添加hadoop组(专门用来进行hadoop测试)到系统用户: 2.在hadoop中添加hadoop用户: 3.赋予hadoop管理员权限 ( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步...

lcj1992
2014/01/07
0
2
Hadoop cluster on Cubieboards

hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Had...

cubieboard
2014/08/10
0
0
Ubuntu 12.04搭建hadoop单机版环境

前言: 本文章是转载的,自己又加上了一些自己的笔记整理的 详细地址请查看Ubuntu 12.04搭建hadoop单机版环境 Hadoop的三种运行模式 独立模式:无需任何守护进程,所有程序都在单个JVM上执行...

zhao_xiao_long
2013/07/26
0
0
kylin_学习_01_kylin安装部署

一、环境准备 根据官方文档,kylin是需要运行在hadoop环境下的,如下图: 1.hadoop环境搭建 参考:hadoop学习02_Hadoop环境搭建(单机) 2.hbase环境搭建 参考:hbase学习01HBase环境搭建(单机...

rayner
03/20
0
0
hadoop搭建注意事项汇总

以前都是在单机模式下搭建hadoop进行运作,今天试着在两台机器上搭建,就出现了一堆问题。现在汇总注意事项 1.Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同的用户名的...

嗯哼9925
2017/12/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Mariadb二进制包安装,Apache安装

安装mariadb 下载二进制包并解压 [root@test-a src]# wget https://downloads.mariadb.com/MariaDB/mariadb-10.2.6/bintar-linux-glibc_214-x86_64/mariadb-10.2.6-linux-glibc_214-x86_64.t......

野雪球
今天
3
0
ConcurrentHashMap 高并发性的实现机制

ConcurrentHashMap 的结构分析 为了更好的理解 ConcurrentHashMap 高并发的具体实现,让我们先探索它的结构模型。 ConcurrentHashMap 类中包含两个静态内部类 HashEntry 和 Segment。HashEnt...

TonyStarkSir
今天
3
0
大数据教程(7.4)HDFS的java客户端API(流处理方式)

博主上一篇博客分享了namenode和datanode的工作原理,本章节将继前面的HDFS的java客户端简单API后深度讲述HDFS流处理API。 场景:博主前面的文章介绍过HDFS上存的大文件会成不同的块存储在不...

em_aaron
昨天
3
0
聊聊storm的window trigger

序 本文主要研究一下storm的window trigger WindowTridentProcessor.prepare storm-core-1.2.2-sources.jar!/org/apache/storm/trident/windowing/WindowTridentProcessor.java public v......

go4it
昨天
7
0
CentOS 生产环境配置

初始配置 对于一般配置来说,不需要安装 epel-release 仓库,本文主要在于希望跟随 RHEL 的配置流程,紧跟红帽公司对于服务器的配置说明。 # yum update 安装 centos-release-scl # yum ins...

clin003
昨天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部