文档章节

CentOS 7 安装配置Hadoop2.6

HiMrLiu
 HiMrLiu
发布于 2017/02/06 14:48
字数 574
阅读 93
收藏 0

CentOS 7 安装配置Hadoop2.6

1. 安装JDK并配置环境变量

2. 配置SSH无密码登陆

1. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
3. 验证ssh, ssh localhost 
不需要输入密码即可登录

3.下载Hadoop2.6

  1. 创建hadoop存放目录
mkdir /root/hadoop
  1. 进入hadoop目录
cd /root/hadoop
  1. 下载hadoop2.6
wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
Hadoop所有版本下载:http://apache.fayea.com/hadoop/common/
  1. 解压
tar -zxvf hadoop-2.6.0.tar.gz
解压后目录为: /root/hadoop/hadoop-2.6.0 
  1. 创建hdfs和tmp目录
mkdir /root/hadoop/tmp 
mkdir /root/hadoop/hdfs 
mkdir /root/hadoop/hdfs/data 
mkdir /root/hadoop/hdfs/name

4. 设置Hadoop环境变量

  1. 编辑环境变量文件
vi ~/.bash_profile
  1. 添加hadoop环境变量
# set hadoop path
export HADOOP_HOME=/root/hadoop/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin
  1. 使环境变量生效
source ~/.bash_profile

5. 配置Hadoop

进入配置文件目录

cd /root/hadoop/hadoop-2.6.0/etc/hadoop

需要配置的的有4个文件

hadoop-2.6.0/etc/hadoop/core-site.xml 
hadoop-2.6.0/etc/hadoop/hdfs-site.xml 
hadoop-2.6.0/etc/hadoop/mapred-site.xml 
hadoop-2.6.0/etc/hadoop/yarn-site.xml
  1. 配置core-site.xml
<configuration>
<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/hadoop/tmp</value>
    <description>namenode上本地的hadoop临时文件夹</description>
</property>
</configuration>

2.配置hdfs-site.xml

<configuration>
<property>
    <name>dfs.name.dir</name>
    <value>/root/hadoop/hdfs/name</value>
    <description>namenode上存储hdfs名字空间元数据 </description> 
</property>

<property>
    <name>dfs.data.dir</name>
    <value>/root/hadoop/hdfs/data</value>
    <description>datanode上数据块的物理存储位置</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>

3.配置mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>
</configuration>

4.配置yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8099</value>
</property>
</configuration>

6. 启动Hadoop

  1. 格式化Hadoop
cd /root/hadoop/hadoop-2.6.0/bin
[root@localhost bin]# hdfs namenode –format
17/02/02 23:31:31 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = localhost.localdomain/127.0.0.1
STARTUP_MSG:   args = [–format]
STARTUP_MSG:   version = 2.6.0
  1. 启动NameNode 和 DataNode 守护进程
./root/hadoop/hadoop-2.6.0/sbin/start-dfs.sh
  1. 启动ResourceManager 和 NodeManager 守护进程
./root/hadoop/hadoop-2.6.0/sbin/start-yarn.sh

7. 验证Hadoop是否启动

  1. 输入jps,有如下进程,表示Hadoop正常启动
[root@localhost hadoop]# jps
19942 Jps
16327 DataNode
16975 ResourceManager
16681 SecondaryNameNode
17077 NodeManager
  1. 查看YARN的ResourceManager的界面,默认端口是8088,上面配置文件改成了8099
http://ip:8099

Hadoop运行界面

参考:http://www.cnblogs.com/lovezhaolei/p/5594115.html

© 著作权归作者所有

HiMrLiu

HiMrLiu

粉丝 1
博文 4
码字总数 1675
作品 0
成都
程序员
私信 提问
基于cdh5.4.2的Zeppelin编译安装

1、先安装nodejs和npm,根据zeppelin-web下的pom.xml中的 <execution> <id>install node and npm</id> <goals> <goal>install-node-and-npm</goal> </goals> <configuration> <nodeVersion>......

ldl123292
2016/04/12
382
0
Zeppelin下使用anaconda和matplotlib

以下操作只需在部署Zeppelin的服务器下即可 1、https://www.continuum.io/downloads 下载anaconda 2、安装,我下载的是linux版本的python2.7,安装过程简单,我安装在了/usr/local/anaconda...

ldl123292
2016/04/12
1K
0
Spark on Yarn集群搭建

由于最近学习大数据开发,spark作为分布式内存计算框架,当前十分火热,因此作为首选学习技术之一。Spark官方提供了三种集群部署方案: Standalone, Mesos, Yarn。其中 Standalone 为spark本...

skanda
2017/08/30
28
0
centos 基础性命令

docker 使用入门 docker 启动快的原因: 因为Container技术采取共享Host OS的作法,而不需在每一个Container内执行Guest OS,因此建立Container不需要等待操作系统开机时间,不用1分钟或几秒...

疯code
2016/07/19
9
0
Windows下单机安装Spark开发环境

机器:windows 10 64位。 因Spark支持java、python等语言,所以尝试安装了两种语言环境下的spark开发环境。 1、Java下Spark开发环境搭建 1.1、jdk安装 安装oracle下的jdk,我安装的是jdk 1.7...

涩女郎
2016/09/20
60
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
昨天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
昨天
2.7K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
昨天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部