文档章节

hadoop linux环境搭建

A
 Alen
发布于 2017/05/27 18:17
字数 389
阅读 14
收藏 0

1. 下载jdk包

   wget http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

   到/usr/local/jdk并解压

2. 配置jdk

  • vi /etc/profile
  • 添加如下配置并保存

#添加如下内容:JAVA_HOME根据实际目录来
JAVA_HOME=/usr/local/jdk/jdk1.8.0_131(按照实际的版本配置目录)
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

  • source /etc/profile #使配置生效

3. 测试jdk是否安装成功

    java -version

4. 下载hadoop包

 wget http://hadoop.apache.org/releases.html 到/usr/local并解压

5. 配置hadoop环境

  • 修改解压后的文件夹为hadoop
  • vi /etc/profile
  • 添加如下配置并保存

#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

  • source /etc/profile #使配置生效
  • vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh#修改hadoop配置的java_home目录
  • export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131

6.配置hadoop集群

  • cd /usr/local/hadoop/etc/hadoop
  • vi core-site.xml #指定namenode的地址及hadoop产生文件的存放目录

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>

  • cp mapred-site.xml.template mapred-site.xml
  • vi mapred-site.xml #告诉hadoop以后MR运行在YARN上

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

  • vi yarn-site.xml #nomenodeManager获取数据的方式是shuffle

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
                <description>shuffle service that needs to be set for map reduce to run</description>
       </property>

7. 初始化hadoop

  • cd /usr/local/hadoop/bin
  • hdfs namenode -format

8. 启动hadoop

    cd /usr/local/hadoop/sbin

    start-dfs.sh

    start-yarn.sh

9. 测试hadoop

  • 运行命令jps 查看是否成功
  • http://192.168.80.129:50070/ #测试NameNode页面是否能打开
  • http://192.168.80.129:8088/ #测试ResourceManager页面是否能打开
  • http://192.168.80.129:19888/ #其中19888端口要启动JobHistoryServer进程,
    ./sbin/mr-jobhistory-daemon.sh start historyserver
    测试MapReduce JobHistory Server页面是否能打开

    

 

 

 

 

© 著作权归作者所有

上一篇: ip库
下一篇: vim 查找替换
A
粉丝 0
博文 36
码字总数 4486
作品 0
浦东
高级程序员
私信 提问
Linux下设置环境JDK环境变量

了解Hadoop有一段时间了可惜学java web好忙,一直没有时间搭建Hadoop,Linux下的环境今天搭建一下Linux下的hadoop安装环境。可惜好久都不用Linux,刚刚用vmware安装了centos5.5,linux上的j...

cloudyak
2013/01/25
2.8K
0
hadoop(01)、windows平台下hadoop环境搭建

hadoop是运行在linux系统下的一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。今天我们要...

MaxBill
2017/11/13
308
0
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
2018/08/03
63
0
快速搭建 HDFS 系统(超详细版)

文章目录 节点介绍 节点介绍 首先,准备 5 台虚拟机,其中 1 台虚拟机作为,4 台虚拟机作为,分别为: 在这里,充当着的角色,其他的充当着的角色,并且需要修改这 5 台虚拟机上的文件,配置...

CG国斌
03/15
0
0
初学者学hadoop只有这些基础还不够

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人...

左手的倒影
2018/09/08
13
0

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
5
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
昨天
6
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
7
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部