文档章节

Ubuntu12.04 Hadoop单机搭建

R-Lu
 R-Lu
发布于 2014/02/27 17:24
字数 1226
阅读 4888
收藏 170
点赞 11
评论 15


    一直都听别人说Hadoop,还是蛮神秘的,不过看介绍才知道这个是整分布式的.现在分布式,大数据都是挺火的,不得不让人去凑个热闹呀.

    先说下我的环境:


test1@test1-virtual:~/Downloads$ uname -a
Linux test1-virtual 3.11.0-17-generic #31~precise1-Ubuntu SMP Tue Feb 4 21:29:23 UTC 2014 i686 i686 i386 GNU/Linux




准备工作,Hadoop是Apache的产品,你懂的,这个当然和Java相关了,所以你得有一个Java编译器才行,不管你是OpenJDK,还是OraceJDK,你都要整一个不是.

详情可以见我另外一篇文章:http://my.oschina.net/robinsonlu/blog/170365


好了,进入正题。

1,我们得去Hadoop官网去下载,我这里选择最新的hadoop-2.3.0版本,其他版本记得甄别一下,毕竟测试环境,当然用最新的好了.

解压压缩包,复制到制定的位置.

test1@test1-virtual:~/Downloads$ tar -xvf hadoop-2.3.0.tar.gz 


test1@test1-virtual:~/Downloads$ sudo cp -r hadoop-2.3.0 /usr/local/hadoop/





2,为啥,我要说版本问题呢,因为,这个配置文件的位置,之前的版本和现在版本有很大差异的.

当然版本配置文件地址在


test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ ls -al
total 128
drwxr-xr-x 2 test1 test1  4096 Feb 27 15:09 .
drwxr-xr-x 3 test1 test1  4096 Feb 27 15:09 ..
-rw-r--r-- 1 test1 test1  3589 Feb 27 15:09 capacity-scheduler.xml
-rw-r--r-- 1 test1 test1  1335 Feb 27 15:09 configuration.xsl
-rw-r--r-- 1 test1 test1   318 Feb 27 15:09 container-executor.cfg
-rw-r--r-- 1 test1 test1   860 Feb 27 15:23 core-site.xml
-rw-r--r-- 1 test1 test1  3589 Feb 27 15:09 hadoop-env.cmd
-rw-r--r-- 1 test1 test1  3402 Feb 27 15:42 hadoop-env.sh
-rw-r--r-- 1 test1 test1  1774 Feb 27 15:09 hadoop-metrics2.properties
-rw-r--r-- 1 test1 test1  2490 Feb 27 15:09 hadoop-metrics.properties
-rw-r--r-- 1 test1 test1  9257 Feb 27 15:09 hadoop-policy.xml
-rw-r--r-- 1 test1 test1   984 Feb 27 15:27 hdfs-site.xml
-rw-r--r-- 1 test1 test1  1449 Feb 27 15:09 httpfs-env.sh
-rw-r--r-- 1 test1 test1  1657 Feb 27 15:09 httpfs-log4j.properties
-rw-r--r-- 1 test1 test1    21 Feb 27 15:09 httpfs-signature.secret
-rw-r--r-- 1 test1 test1   620 Feb 27 15:09 httpfs-site.xml
-rw-r--r-- 1 test1 test1 11169 Feb 27 15:09 log4j.properties
-rw-r--r-- 1 test1 test1   918 Feb 27 15:09 mapred-env.cmd
-rw-r--r-- 1 test1 test1  1383 Feb 27 15:09 mapred-env.sh
-rw-r--r-- 1 test1 test1  4113 Feb 27 15:09 mapred-queues.xml.template
-rw-r--r-- 1 test1 test1   758 Feb 27 15:09 mapred-site.xml.template
-rw-r--r-- 1 test1 test1    10 Feb 27 15:09 slaves
-rw-r--r-- 1 test1 test1  2316 Feb 27 15:09 ssl-client.xml.example
-rw-r--r-- 1 test1 test1  2268 Feb 27 15:09 ssl-server.xml.example
-rw-r--r-- 1 test1 test1  2178 Feb 27 15:09 yarn-env.cmd
-rw-r--r-- 1 test1 test1  4084 Feb 27 15:09 yarn-env.sh
-rw-r--r-- 1 test1 test1   772 Feb 27 15:30 yarn-site.xml




而我们要修改的配置文件有

hadoop-env.sh 找到JAVA_HOME,把它修改成这样.

# The java implementation to use.
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45




core-site.xml


test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ cat core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
</configuration>






hdfs-site.xml

test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ cat hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/dfs/data</value>
</property>
</configuration>





yarn-site.xml(这个就是新增加的,代替以前mapred-site.xml)


test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ cat yarn-site.xml
<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>


3,更改Hadoop的权限,这个是必须的,因为启动的时候,系统会叫你输入当前启动用户密码,我们现在都是在root用户上操作,这个可不成。

test1@test1-virtual:/usr/local/hadoop/etc/hadoop$ sudo chown -R test1:test1 /usr/local/hadoop/



4,现在基本配置就完成了,现在就可以启动一下看看模样了.

进入Hadoop主目录bin下,初始化namenode.

test1@test1-virtual:/usr/local/hadoop/bin$ ./hadoop namenode -format

在sbin下启动namenode和datanone.

test1@test1-virtual:/usr/local/hadoop/sbin$ ./hadoop-daemon.sh start namenode

test1@test1-virtual:/usr/local/hadoop/sbin$ ./hadoop-daemon.sh start datanode



启动Hadoop.

test1@test1-virtual:/usr/local/hadoop/sbin$ ./start-all.sh

上图:

访问http://172.16.80.228:50070/.




有开就关闭嘛.

test1@test1-virtual:/usr/local/hadoop/sbin$ ./stop-all.sh




© 著作权归作者所有

共有 人打赏支持
R-Lu

R-Lu

粉丝 14
博文 129
码字总数 41529
作品 0
浦东
程序员
加载中

评论(15)

R-Lu
R-Lu

引用来自“夜域诡士”的评论

引用来自“Kewin_Wang”的评论

这鸡巴 安装 也是新闻啊

火的都是基本的,你见过高深的,别人看不懂的,火了,开玩笑

谢谢支持,我会继续努力的.
一一叶
一一叶

引用来自“Kewin_Wang”的评论

这鸡巴 安装 也是新闻啊

火的都是基本的,你见过高深的,别人看不懂的,火了,开玩笑
R-Lu
R-Lu

引用来自“夜域诡士”的评论

一定火,赞一个

谢谢了.
一一叶
一一叶
一定火,赞一个
chazz
chazz

引用来自“Robinson_lu”的评论

引用来自“chazz”的评论

目测要火,前排留名。广告位出租。2

你问红薯,我能火嘛...

问:@红薯 这贴能火吗?
答:能。13
R-Lu
R-Lu

引用来自“chazz”的评论

目测要火,前排留名。广告位出租。2

你问红薯,我能火嘛...
R-Lu
R-Lu

引用来自“顾海林”的评论

建议你开三个虚拟机,一个NN,两个DN。

可以试试,还得再研究下.
chazz
chazz
目测要火,前排留名。广告位出租。2
顾海林
顾海林
建议你开三个虚拟机,一个NN,两个DN。
R-Lu
R-Lu

引用来自“撸蕉香的程猿序”的评论

感谢博主的分享

不用,我也是参考其他人的才写的.
ubuntu12.04下hadoop单机模式和伪分布模式环境搭建

1.添加hadoop组(专门用来进行hadoop测试)到系统用户: 2.在hadoop中添加hadoop用户: 3.赋予hadoop管理员权限 ( 如果不想新建用户,只在自己现有用户下搭建,上面三步可以省去直接进入第四步...

lcj1992
2014/01/07
0
2
Hadoop cluster on Cubieboards

hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Had...

cubieboard
2014/08/10
0
0
Ubuntu 12.04搭建hadoop单机版环境

前言: 本文章是转载的,自己又加上了一些自己的笔记整理的 详细地址请查看Ubuntu 12.04搭建hadoop单机版环境 Hadoop的三种运行模式 独立模式:无需任何守护进程,所有程序都在单个JVM上执行...

zhao_xiao_long
2013/07/26
0
0
hadoop搭建注意事项汇总

以前都是在单机模式下搭建hadoop进行运作,今天试着在两台机器上搭建,就出现了一堆问题。现在汇总注意事项 1.Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同的用户名的...

嗯哼9925
2017/12/27
0
0
solr集群solrCloud搭建

SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。 当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜...

黄信程
2017/07/04
0
0
分析几种Hadoop集群部署方式优劣

对hadoop初学者来说,或者说正在使用hadoop的开发者来说,hadoop环境的搭建不是一件省心的事,甚至很多博客上都重要的事说三便“不要花精力在搭建环境之上”,可见很多人在搭建环境时会遇到很...

cpaqyx
2017/06/25
0
0
在ubuntu12.04上安装单机版详细hadoop步骤

通过ctrl+alt+t打开终端编辑器。 创建hadoop用户组:输入命令sudo addgroup hadoop 创建hadoop用户: 输入命令sudo adduser -ingroup hadoop hadoop 在出现enter new unix password是输入密码...

yuyanghuoming
2014/04/19
0
0
hbase分布式集群搭建

hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建。 hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop的完全集群环...

纯洁的虫纸
2017/08/11
0
0
#hadoop#单机(伪分布)安装及测试

tips:这个部署完全在以root用户操作,系统为ubuntu14.04,使用了Oracle JDK7_u55替换原来的OpenJDK 安装过程: 安装Java: 从自己的宿主机ftp服务器下载包: cd /usr/lib/jvmwget ftp://19...

Hochikong
2014/09/08
0
0
Hadoop单机模式部署

一、Hadoop部署模式 单机模式:默认情况下运行为一个单独机器上的独立Java进程,主要用于调试环境 伪分布模式:在单个机器上模拟成分布式多节点环境,每一个Hadoop守护进程都作为一个独立的J...

结束的伤感
2016/04/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SpringBoot | 第十章:Swagger2的集成和使用

前言 前一章节介绍了mybatisPlus的集成和简单使用,本章节开始接着上一章节的用户表,进行Swagger2的集成。现在都奉行前后端分离开发和微服务大行其道,分微服务及前后端分离后,前后端开发的...

oKong
今天
2
0
Python 最小二乘法 拟合 二次曲线

Python 二次拟合 随机生成数据,并且加上噪声干扰 构造需要拟合的函数形式,使用最小二乘法进行拟合 输出拟合后的参数 将拟合后的函数与原始数据绘图后进行对比 import numpy as npimport...

阿豪boy
今天
1
0
云拿 无人便利店

附近(上海市-航南路)开了家无人便利店.特意进去体验了一下.下面把自己看到的跟大家分享下. 经得现场工作人员同意后拍了几张照片.从外面看是这样.店门口的指导里强调:不要一次扫码多个人进入....

周翔
昨天
1
0
Java设计模式学习之工厂模式

在Java(或者叫做面向对象语言)的世界中,工厂模式被广泛应用于项目中,也许你并没有听说过,不过也许你已经在使用了。 简单来说,工厂模式的出现源于增加程序序的可扩展性,降低耦合度。之...

路小磊
昨天
158
1
npm profile 新功能介绍

转载地址 npm profile 新功能介绍 npm新版本新推来一个功能,npm profile,这个可以更改自己简介信息的命令,以后可以不用去登录网站来修改自己的简介了 具体的这个功能的支持大概是在6这个版...

durban
昨天
1
0
Serial2Ethernet Bi-redirection

Serial Tool Serial Tool is a utility for developing serial communications, custom protocols or device testing. You can set up bytes to send accordingly to your protocol and save......

zungyiu
昨天
1
0
python里求解物理学上的双弹簧质能系统

物理的模型如下: 在这个系统里有两个物体,它们的质量分别是m1和m2,被两个弹簧连接在一起,伸缩系统为k1和k2,左端固定。假定没有外力时,两个弹簧的长度为L1和L2。 由于两物体有重力,那么...

wangxuwei
昨天
0
0
apolloxlua 介绍

##项目介绍 apolloxlua 目前支持javascript到lua的翻译。可以在openresty和luajit里使用。这个工具分为两种模式, 一种是web模式,可以通过网页使用。另外一种是tool模式, 通常作为大规模翻...

钟元OSS
昨天
2
0
Mybatis入门

简介: 定义:Mybatis是一个支持普通SQL查询、存储过程和高级映射的持久层框架。 途径:MyBatis通过XML文件或者注解的形式配置映射,实现数据库查询。 特性:动态SQL语句。 文件结构:Mybat...

霍淇滨
昨天
2
0
开发技术瓶颈期,如何突破

前言 读书、学习的那些事情,以前我也陆续叨叨了不少,但总觉得 “学习方法” 就是一个永远在路上的话题。个人的能力、经验积累与习惯方法不尽相同,而且一篇文章甚至一本书都很难将学习方法...

_小迷糊
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部