文档章节

Linux下Hadoop安装(集群)

k
 kunping
发布于 2017/01/07 23:46
字数 1122
阅读 28
收藏 0

1、下载hadoop-2.7.3.tar.gz

2、安装Hadoop前,请确保JDK1.7+已安装

3、配置hosts

vi /etc/hosts
#追加
192.168.241.130 master
192.168.241.131 slave1
192.168.241.132 slave2

4、设置免密码登录

#生成秘钥
	ssh-keygen -t rsa #回车三次,(或ssh-keygen -t rsa -P '')
#拷贝秘钥
	方式1:
		ssh-copy-id -i ~/.ssh/id_rsa.pub hostname
	方式2:
		scp ~/.ssh/id_rsa.pub username@hostname:~/.ssh/hostname
		cat hostname >> authorized_keys
		chmod 600 authorized_keys
		rm -rf hostname

5、关闭防火墙

    centos6.x

service iptables stop

    centos7.x

systemctl stop firewalld.service

6、解压hadoop到/app

mkdir /app && cd /app
tar -zxvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop

7、配置Hadoop环境变量

vi /etc/profile
#追加:
    HADOOP_HOME=/app/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin
    export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile

8、创建文件夹

mkdir -p /var/app/hadoop/tmp
mkdir -p /var/app/hadoop/dfs/name
mkdir -p /var/app/hadoop/dfs/data

9、修改配置文件

    1. 修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/app/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>65536</value>
    </property>
</configuration>

    2. 修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/var/app/hadoop/dfs/name</value>
        <description>namenode存储目录</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/var/app/hadoop/dfs/data</value>
        <description>datanode存储目录</description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
        <description>副本个数,配置默认是3,应小于datanode机器数量</description>
    </property>
</configuration>

    3. 将mapred-site.xml.template复制一份为mapred-site.xml,并修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

    4. 修改yarn-site.xml

<configuration>
    <!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

    5. 修改slaves

slave1
slave2

10、修改与环境相关配置

    1. 修改hadoop-env.sh

# The java implementation to use.
JAVA_HOME=/app/jdk1.8.0_111
export JAVA_HOME=${JAVA_HOME}

    2. 修改yarn-env.sh

# some Java parameters
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/app/jdk1.8.0_111

11、将已配置好的hadoop文件目录拷贝到slave对应的机器/app目录下

scp -r /app/hadoop root@slave1:/app
scp -r /app/hadoop root@slave2:/app
#同时配置hosts以及profile

12、格式化namenode

bin/hdfs namenode -format

13、启动hadoop

    1. 启动namenode和datanode守护进程

sbin/start-dfs.sh

    2. 启动ResourceManager和NodeManager守护进程

sbin/start-yarn.sh

    3、可用sbin/start-all.sh上述两个命令

14、关闭hadoop

sbin/stop-dfs.sh
sbin/stop-yarn.sh

15、验证hadoop是否按照成功

    1 . master执行jps,出现以下信息

            

        slave执行jps,出现以下信息

            

    2. 打开浏览器,输入网址:http://master:50070

    3. 打开浏览器,输入网址:http://master:8088

16、hadoop基本操作

#查看hadoop根目录
hdfs dfs -ls /

17、若将secondary namenode单独配置到一台节点,如s3,则修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/var/app/hadoop/dfs/name</value>
        <description>namenode存储目录, 逗号分隔配置多个</description>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/var/app/hadoop/dfs/data</value>
        <description>datanode存储目录, 逗号分隔配置多个</description>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
        <description>副本个数,配置默认是3,应小于datanode机器数量</description>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>s3:50090</value>
        <description>若将secondary配置到s3机器上,则需添加此属性配置</description>
    </property>
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>/var/app/hadoop/dfs/namesecondary</value>
        <description>若配置secondary,则需添加此属性配置</description>
    </property>
    <property>
        <name>fs.checkpoint.period</name>
        <value>60</value>
        <description>The number of seconds between two periodic checkpoints. 
		   若配置secondary,则需添加此属性配置
	  </description>
    </property>
    <property>
        <name>fs.checkpoint.size</name>
        <value>10240</value>
        <description>The size of the current edit log (in bytes) that triggers 
		   a periodic checkpoint even if the fs.checkpoint.period hasn't expired. 
		   若配置secondary,则需添加此属性配置
	  </description>
    </property>
</configuration>

18、常见问题

17/03/07 01:03:52 INFO mapreduce.Job: Task Id : attempt_1488819157168_0003_m_000000_2, Status : FAILED
Container [pid=4291,containerID=container_1488819157168_0003_01_000004] is running beyond virtual memory limits. Current usage: 53.8 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container.

解决方案:在yarn-site.xml添加下面一行
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>


org.apache.hadoop.security.AccessControlException: Permission denied: user=xxx, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
解决办法(四种):
1.修改当前操作系统的用户名为linux文件系统中的用户名(此种方法最low)
2.通过 haddop fs -chmod 777 ... 修改文件的权限为任何人可读可写(不安全很low)
3.显示设定环境变量: 比较靠谱的方式:System.setProperty("HADOOP_USER_NAME", "root"); 当然还可以通过run configuration 的方式进行指定jvm环境功能变量‘-DHADOOP_USER_NAME=root’
4.在hdfs-site.xml添加下面一行
  <property>
      <name>dfs.permissions</name>
      <value>false</value>
  </property>


2017-03-13 21:20:34,417 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: s0/192.168.137.130:9000
2017-03-13 21:20:40,424 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: s0/192.168.137.130:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
50070端口无数据节点显示,localhost.localdomain不能修改为本机的名称
解决方案:
修改/etc/hosts里面的值如下:
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6


  

© 著作权归作者所有

k
粉丝 3
博文 61
码字总数 29867
作品 0
深圳
私信 提问
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
2018/08/03
63
0
快速搭建 HDFS 系统(超详细版)

文章目录 节点介绍 节点介绍 首先,准备 5 台虚拟机,其中 1 台虚拟机作为,4 台虚拟机作为,分别为: 在这里,充当着的角色,其他的充当着的角色,并且需要修改这 5 台虚拟机上的文件,配置...

CG国斌
03/15
0
0
如何构建最佳的 Hadoop 集群

序言 数据库和文件中储存的数据量每天都在增长,因此我们需要构建能够储存大量数据(“大数据”),并且廉价、可维护、可伸缩的环境。传统的关系数据库(RDBMS)系统在当前的需求下成本过高并...

oschina
2013/01/04
3.2K
1
hadoop2.6.0安装配置

注意: 1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置,参考:hadoop2.x的配置 2.有关hadoop的命令,参考:hadoop2.x的命令 3.先修改一台机器的配置文件,剩余...

cjun1990
2015/03/25
133
0
2018年互联网大数据之大数据潮流的主先锋Spark

首先,跟大家简单说一下什么是大数据,没有百度的复杂,就是我自己总结的,有什么不对的地方,请大家指教! 1、何为大数据? 大数据就是短时间内,快速产生大量的多种多样的有价值的数据。 ...

A尚学堂Len老师
2018/08/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
7
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
7
0
Flutter系列之在 macOS 上安装和配置 Flutter 开发环境

本文为Flutter开发环境在macOS下安装全过程: 一、系统配置要求 想要安装并运行 Flutter,你的开发环境需要最低满足以下要求: 操作系统:macOS(64位) 磁盘空间:700 MB(不包含 IDE 或其余...

過愙
昨天
6
0
OSChina 周六乱弹 —— 早上儿子问我他是怎么来的

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @凉小生 :#今日歌曲推荐# 少点戾气,愿你和这个世界温柔以待。中岛美嘉的单曲《僕が死のうと思ったのは (曾经我也想过一了百了)》 《僕が死の...

小小编辑
昨天
2.6K
16
Excption与Error包结构,OOM 你遇到过哪些情况,SOF 你遇到过哪些情况

Throwable 是 Java 中所有错误与异常的超类,Throwable 包含两个子类,Error 与 Exception 。用于指示发生了异常情况。 Java 抛出的 Throwable 可以分成三种类型。 被检查异常(checked Exc...

Garphy
昨天
42
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部