文档章节

Hadoop(Install)

赵-猛
 赵-猛
发布于 2015/12/30 16:22
字数 701
阅读 42
收藏 0

安装目标:一个namenode 和 2 个datanode,假定已用户名zhaomeng和密码zhaomeng进行

虚拟机:3个centos 64(桥接模式)

    1.192.168.203.129 master_centos64_1

    2.192.168.203.130 slave_centos64_2

    3.192.168.203.138 slave_centos_3

准备工作:

    1.启动三个虚拟机master_centos64_1

    2.检查ssh是否安装和sshd是否启动(可否互相ssh,端口号默认是22)

    3.若想配置好记的机器名,可以sudo vi /etc/hostname将HOSTNAME改成自己喜欢的

    4.若想只用机器名,可以sudo vi /etc/hosts更改路由表 (hosts文件优先于路由器)

    5.(optional)检查防火墙iptable

    6.在三台机器上创建相同用户,如zhaomeng, 加入sudoers列表和root用户组

        a.useradd -G root zhaomeng

        b.sudovi /etc/sudoers 正加root类似的一行 

      root ALL(ALL)  ALL
      zhaomeng ALL(ALL)  ALL

    7.配置用户zhaomeng在三台机器相互间免密码ssh

        a.(master1)cd /home/zhaomeng

        b.(master1)ssh-keygen之后直接3个回车或者ssh-keygen -t rsa -P ''      (在主目录生成.ssh/idrsa和.ssh、id_rsa.pub)

        c.(master1)cat .ssh/id_rsa.pub >> .ssh/authorized_keys

        d.(slave2和slave3)执行ab并将id_rsa.pub文件均scp至master1,并执行c

        e.(master1)将包含3个公钥的authorized_keys文件scp至slave2和slave3

        f.(master1,slave2,slave3)chmod 600 .ssh/authorized_keys(非常重要,否则不起效)

        g.(master1,slave2,slave3)三台机器之间相互测试时候可以无密码ssh   (第一次均需要确认是否记住凭证,选择yes)

    8.(master1,slave2,slave3)下载和安装JDK7,并设置必要的JAVA_HOME和PATH变量

    9.(master1)下载hadoop2.6.3,解压至/home/zhaomeng/hadoop263  (hadoop263下路目录为bin sbin etc libexec lib 等)

    10.(master1,slave2,slave3)设置环境变量

            vi /etc/profile 加入如下内容

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/home/zhaomeng/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME

        并使之生效source /etc/profile 

    11.(master1)配置HADOOP_HOME/etc/hadoop/core.site.xml    hdfs.site.xml   yarn.site.xml (mapred-site.xml) slaves 以及hadoop-sne.sh和yarn-env.sh (两个sh文件主要是加入JAVA_HOME变量)

    12.(master1)mkdir logs tmp data 

    13.(master1)将HADOOP_HOME整个文件夹scp至slave2和slave3,并保持和master1一样的目录结构

    14.(master1)格式化namenode,执行HADOOP_HOME/bin/hdfs namenode -format

    15.(master1)启动hdfs,执行HADOOP_HOME/sbin/start-dfs.sh

    16.(master1)启动yarn,执行HADOOP_HOME/sbin/start-yarn.sh

    17.几个网址

            http://master1:8088/

            http://master1:50070/ 

    18.待续

 

附录几个文件

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.203.129:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zhaomeng/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.webhdfs.enable</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.ipc.address </name>
<value>0.0.0.0:50020</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:50075</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/zhaomeng/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/zhaomeng/hadoop/data</value>
</property>
</configuration>

 yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

slaves

slave_centos64_2
slave_centos_3

 

© 著作权归作者所有

赵-猛
粉丝 6
博文 820
码字总数 500010
作品 0
深圳
技术主管
私信 提问
Ubuntu14.04 搭建hadoop单机版

一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。 1、创建hadoop用户组 2、创建hadoop用户 sudo addus...

喜欢敲代码的感觉
2014/10/16
112
0
hadoop 的安装配置教程

Hadoop安装配置简略教程 http://www.powerxing.com/install-hadoop-simplify/ Hadoop安装教程_单机/伪分布式配置 http://www.powerxing.com/install-hadoop/ Hadoop集群安装配置教程 http:/......

haopeng
2015/12/10
61
0
pippo/hadoop-ansible

Hadoop-ansible Install Hadoop cluster with ansible Now Support CentOS 7.x JDK is OpenJDK-1.8 Hadoop is the latest version 3.0.0 Before Install Use DNS Server or update /etc/host......

pippo
2018/01/03
0
0
centos6.5 64位下编译hadoop2.5.1源码

需要的工具:centos6.5 -64bit jdk1.7.0.71 maven3.23 (http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz) ant1.9 (http://mirrors.cnnic.cn......

逸风如梦
2014/11/15
2.7K
0
Hadoop 2.2 分布式集群搭建

1. 预备条件 安装了Java 6.0以上版本的JDK; 必备开发库,运行脚本 [plain] view plaincopyprint? yum -y install lzo-devel zlib-devel gcc autoconf automake libtool cmake openssl-devel......

English0523
2014/01/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

64.监控平台介绍 安装zabbix 忘记admin密码

19.1 Linux监控平台介绍 19.2 zabbix监控介绍 19.3/19.4/19.6 安装zabbix 19.5 忘记Admin密码如何做 19.1 Linux监控平台介绍: 常见开源监控软件 ~1.cacti、nagios、zabbix、smokeping、ope...

oschina130111
今天
13
0
当餐饮遇上大数据,嗯真香!

之前去开了一场会,主题是「餐饮领袖新零售峰会」。认真听完了餐饮前辈和新秀们的分享,觉得获益匪浅,把脑子里的核心纪要整理了一下,今天和大家做一个简单的分享,欢迎感兴趣的小伙伴一起交...

数澜科技
今天
7
0
DNS-over-HTTPS 的下一代是 DNS ON BLOCKCHAIN

本文作者:PETER LAI ,是 Diode 的区块链工程师。在进入软件开发领域之前,他主要是在做工商管理相关工作。Peter Lai 也是一位活跃的开源贡献者。目前,他正在与 Diode 团队一起开发基于区块...

红薯
今天
12
0
CC攻击带来的危害我们该如何防御?

随着网络的发展带给我们很多的便利,但是同时也带给我们一些网站安全问题,网络攻击就是常见的网站安全问题。其中作为站长最常见的就是CC攻击,CC攻击是网络攻击方式的一种,是一种比较常见的...

云漫网络Ruan
今天
12
0
实验分析性专业硕士提纲撰写要点

为什么您需要研究论文的提纲? 首先当您进行研究时,您需要聚集许多信息和想法,研究论文提纲可以较好地组织你的想法, 了解您研究资料的流畅度和程度。确保你写作时不会错过任何重要资料以此...

论文辅导员
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部