文档章节

Hadoop(Install)

赵-猛
 赵-猛
发布于 2015/12/30 16:22
字数 701
阅读 42
收藏 0

安装目标:一个namenode 和 2 个datanode,假定已用户名zhaomeng和密码zhaomeng进行

虚拟机:3个centos 64(桥接模式)

    1.192.168.203.129 master_centos64_1

    2.192.168.203.130 slave_centos64_2

    3.192.168.203.138 slave_centos_3

准备工作:

    1.启动三个虚拟机master_centos64_1

    2.检查ssh是否安装和sshd是否启动(可否互相ssh,端口号默认是22)

    3.若想配置好记的机器名,可以sudo vi /etc/hostname将HOSTNAME改成自己喜欢的

    4.若想只用机器名,可以sudo vi /etc/hosts更改路由表 (hosts文件优先于路由器)

    5.(optional)检查防火墙iptable

    6.在三台机器上创建相同用户,如zhaomeng, 加入sudoers列表和root用户组

        a.useradd -G root zhaomeng

        b.sudovi /etc/sudoers 正加root类似的一行 

      root ALL(ALL)  ALL
      zhaomeng ALL(ALL)  ALL

    7.配置用户zhaomeng在三台机器相互间免密码ssh

        a.(master1)cd /home/zhaomeng

        b.(master1)ssh-keygen之后直接3个回车或者ssh-keygen -t rsa -P ''      (在主目录生成.ssh/idrsa和.ssh、id_rsa.pub)

        c.(master1)cat .ssh/id_rsa.pub >> .ssh/authorized_keys

        d.(slave2和slave3)执行ab并将id_rsa.pub文件均scp至master1,并执行c

        e.(master1)将包含3个公钥的authorized_keys文件scp至slave2和slave3

        f.(master1,slave2,slave3)chmod 600 .ssh/authorized_keys(非常重要,否则不起效)

        g.(master1,slave2,slave3)三台机器之间相互测试时候可以无密码ssh   (第一次均需要确认是否记住凭证,选择yes)

    8.(master1,slave2,slave3)下载和安装JDK7,并设置必要的JAVA_HOME和PATH变量

    9.(master1)下载hadoop2.6.3,解压至/home/zhaomeng/hadoop263  (hadoop263下路目录为bin sbin etc libexec lib 等)

    10.(master1,slave2,slave3)设置环境变量

            vi /etc/profile 加入如下内容

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/home/zhaomeng/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_PREFIX=$HADOOP_HOME
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME

        并使之生效source /etc/profile 

    11.(master1)配置HADOOP_HOME/etc/hadoop/core.site.xml    hdfs.site.xml   yarn.site.xml (mapred-site.xml) slaves 以及hadoop-sne.sh和yarn-env.sh (两个sh文件主要是加入JAVA_HOME变量)

    12.(master1)mkdir logs tmp data 

    13.(master1)将HADOOP_HOME整个文件夹scp至slave2和slave3,并保持和master1一样的目录结构

    14.(master1)格式化namenode,执行HADOOP_HOME/bin/hdfs namenode -format

    15.(master1)启动hdfs,执行HADOOP_HOME/sbin/start-dfs.sh

    16.(master1)启动yarn,执行HADOOP_HOME/sbin/start-yarn.sh

    17.几个网址

            http://master1:8088/

            http://master1:50070/ 

    18.待续

 

附录几个文件

core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.203.129:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/zhaomeng/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml

<configuration>
<property>
<name>dfs.webhdfs.enable</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.ipc.address </name>
<value>0.0.0.0:50020</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:50075</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/zhaomeng/hadoop/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/zhaomeng/hadoop/data</value>
</property>
</configuration>

 yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

slaves

slave_centos64_2
slave_centos_3

 

© 著作权归作者所有

赵-猛
粉丝 6
博文 824
码字总数 501447
作品 0
深圳
技术主管
私信 提问
Ubuntu14.04 搭建hadoop单机版

一、在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户。 1、创建hadoop用户组 2、创建hadoop用户 sudo addus...

喜欢敲代码的感觉
2014/10/16
112
0
hadoop 的安装配置教程

Hadoop安装配置简略教程 http://www.powerxing.com/install-hadoop-simplify/ Hadoop安装教程_单机/伪分布式配置 http://www.powerxing.com/install-hadoop/ Hadoop集群安装配置教程 http:/......

haopeng
2015/12/10
62
0
pippo/hadoop-ansible

Hadoop-ansible Install Hadoop cluster with ansible Now Support CentOS 7.x JDK is OpenJDK-1.8 Hadoop is the latest version 3.0.0 Before Install Use DNS Server or update /etc/host......

pippo
2018/01/03
0
0
centos6.5 64位下编译hadoop2.5.1源码

需要的工具:centos6.5 -64bit jdk1.7.0.71 maven3.23 (http://mirrors.cnnic.cn/apache/maven/maven-3/3.2.3/binaries/apache-maven-3.2.3-bin.tar.gz) ant1.9 (http://mirrors.cnnic.cn......

逸风如梦
2014/11/15
2.7K
0
Hadoop 2.2 分布式集群搭建

1. 预备条件 安装了Java 6.0以上版本的JDK; 必备开发库,运行脚本 [plain] view plaincopyprint? yum -y install lzo-devel zlib-devel gcc autoconf automake libtool cmake openssl-devel......

English0523
2014/01/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS 7系统增加swap

转载请注明文章出处:CentOS 7系统增加swap swap是位于磁盘上的特殊文件(或分区),属于“虚拟内存”的一部分。通俗点就是内存的备胎,内存充足的情况下,基本上没swap什么事(和设置有关)...

tlanyan
26分钟前
2
0
基于Prometheus和Grafana的监控平台 - 环境搭建

相关概念 微服务中的监控分根据作用领域分为三大类,Logging,Tracing,Metrics。 Logging - 用于记录离散的事件。例如,应用程序的调试信息或错误信息。它是我们诊断问题的依据。比如我们说...

JAVA日知录
今天
5
0
PHP运行时全局构造体

struct _php_core_globals { zend_bool magic_quotes_gpc; // 是否对输入的GET/POST/Cookie数据使用自动字符串转义。 zend_bool magic_quotes_runtime; //是否对运行时从外部资源产生的数据使...

冻结not
今天
4
0
webpack插件html-webpack-plugin

本文转载于:专业的前端网站→webpack插件html-webpack-plugin 1、插件安装 npm install html-webpack-plugin --save-dev 2、插件使用 webpack.config.js配置文件为: var htmlWebpackPlugin=...

前端老手
今天
6
0
数据挖掘

zhengchen1996
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部