文档章节

Hadoop 2.7.3安装与配置

chenkangyao
 chenkangyao
发布于 2017/07/04 14:42
字数 327
阅读 64
收藏 1

1.JDK1.8.0_101的安装与配置 (1)下载后在centos6.5中解压路径为/usr/jdk1.8.0_101

(2)将Java添加到环境变量中

vi /etc/profile 添加如下配置

export JAVA_HOME=/usr/jdk1.8.0_101 export HADOOP_HOME=/usr/Hadoop/hadoop-2.7.3 export JAVA_BIN=$JAVA_HOME/bin export JAVA_LIB=$JAVA_HOME/lib export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin (4) #刷新配置 source /etc/profile

2.hadoop的相关配置 (1)下载后解压路径为/usr/hadoop/hadoop-2.7.3

(2)配置hadoop

  第一个:hadoop-env.sh

vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/jdk1.8.0_101

第二个:core-site.xml

<!-- 制定HDFS的老大(NameNode)的地址 -->

<property> <name>fs.defaultFS</name> <value>hdfs://cky171:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/tmp</value> </property>

第三个:hdfs-site.xml

<!-- 指定HDFS副本的数量 -->

<property> <name>dfs.replication</name> <value>1</value> </property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml

<!-- 指定mr运行在yarn上 -->

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

第五个:yarn-site.xml

<!-- 指定YARN的老大(ResourceManager)的地址 -->

<property> <name>yarn.resourcemanager.hostname</name> <value>centos01</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

(4)配置hadoop的环境变量

vi /etc/profile 添加如下配置

export JAVA_HOME=/usr/jdk1.8.0_101 export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 #export HADOOP_HOME=/centos01/hadoop-2.4.1 export JAVA_BIN=$JAVA_HOME/bin export JAVA_LIB=$JAVA_HOME/lib export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar #export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native expor tPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行指令 source /etc/profile (5)格式化namenode(是对namenode进行初始化) hdfs namenode -format (hadoop namenode -format)

(6)安装完成后的验证

执行命令start-all.sh

[root@centos01 ~]# jps 3093 ResourceManager 3191 NodeManager 2939 SecondaryNameNode 2366 NameNode 5519 Jps

表示安装成功

打开网页http://192.168.6.171:8088/cluster可以正常查看

© 著作权归作者所有

chenkangyao
粉丝 6
博文 44
码字总数 75969
作品 0
广州
高级程序员
私信 提问
Windows 搭建Hadoop 2.7.3开发环境

1、安装配置Java环境 1.1、安装Windows版本的jkd应用程序 当前的系统环境是64位Windows 7,因此下载64位JDK,下载地址:http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e...

巴利奇
2018/01/06
0
0
大数据TensorFlowOnSpark安装

1. 概述 大数据tensorflowonspark 进行安装和测试。 2 .环境 3 .安装 1.1 删除系统自带jdk: # rpm -e --nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64rpm -e --nodeps java-1.6.0......

cs312779641
2017/10/19
0
0
CentOS 7下安装集群Hadoop-2.7.3

一、硬件环境 我使用的硬件是云创的一个minicloud设备。由三个节点(每个节点8GB内存+128GB SSD+3块3TB SATA)和一个千兆交换机组成。 二、安装前准备 1.在CentOS 7下新建hadoop用户,官方推...

xhHuang
2016/12/18
1K
0
hadoop分布式安装

分布式安装(至少三台主机):环境所需软件:CentOS7hadoop-2.7.3.tar.gzjdk-8u102-linux-x64.tar.gz 安装前准备工作: 修改 /etc/hosts 文件 vim /etc/hosts内容:192.168.10.11 bigdata1192...

菜鸟的征程
2017/12/10
0
0
CentOS7下编译Hadoop-2.7.3全过程详解

1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具。 到hadoop官网,点击source下载hadoop-2.7.3-src.tar.gz。 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件...

楠木楠
2016/08/28
190
0

没有更多内容

加载失败,请刷新页面

加载更多

rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
4
0
简述TCP的流量控制与拥塞控制

1. TCP流量控制 流量控制就是让发送方的发送速率不要太快,要让接收方来的及接收。 原理是通过确认报文中窗口字段来控制发送方的发送速率,发送方的发送窗口大小不能超过接收方给出窗口大小。...

鏡花水月
今天
8
0
OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
895
11
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部