文档章节

RedHat hadoop集群安装步骤

hiqj
 hiqj
发布于 2014/09/23 22:02
字数 903
阅读 126
收藏 0

1、网络配置

2、机器名修改

3、集群hosts列表

4、关闭防火墙、SELinux

#查看selinux状态

[root@master1 ~]# sestatus -v
#关闭selinux

vi /etc/selinux/config  

SELINUX=disabled 

5、时间同步

#手动同步时间

/usr/sbin/ntpdate cn.pool.ntp.org

#配置时间同步(实现自动同步时间)

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

crontab –e

6、jdk环境安装

#查看系统自动安装的jdk

[root@master1 opt]# rpm -qa | grep jdk

#删除系统自动安装的jdk

[root@master1 opt]# rpm -qa | grep jdk
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
[root@master1 opt]# rpm -e -nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
-nodeps: 未知的选项
[root@master1 opt]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64


[root@node1 soft-src]# pwd
/tmp/soft-src

#查看目录内容

[root@node1 soft-src]# ll -a
总用量 139052
drwxr-xr-x.  3 root root      4096 9月  22 10:30 .
drwxrwxrwt. 25 root root      4096 9月  22 10:30 ..
-rwxrw-rw-.  1 root root 142376665 9月  20 11:16 jdk-7u67-linux-x64.tar.gz

#解压

[root@node1 soft-src]# tar xvf jdk-7u67-linux-x64.tar.gz

#查看目录

[root@node1 soft-src]# ll -a
总用量 139052
drwxr-xr-x.  3 root root      4096 9月  22 10:30 .
drwxrwxrwt. 25 root root      4096 9月  22 10:30 ..
drwxr-xr-x.  8 uucp  143      4096 7月  26 00:51 jdk1.7.0_67
-rwxrw-rw-.  1 root root 142376665 9月  20 11:16 jdk-7u67-linux-x64.tar.gz

#设置JAVA_HOME

[root@secondarynamenode 桌面]# vi /etc/profile.d/java.sh 

export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export CLASSPATH=/tmp/soft-src/jdk1.7.0_67/lib
export PATH=$JAVA_HOME/bin:$PATH

#查看jdk安装位置

[root@secondarynamenode 桌面]# which java
/tmp/soft-src/jdk1.7.0_67/bin/java

7、创建hadoop用户和hadoop组

groupadd hadoop
useradd hadoop -g hadoop

#通过管理员登陆后修改wqj用户密码

passwd wqj

8、生成ssh密钥

配置详情参看《RedHat hadoop ssh配置安装

9、创建/opt/module/hadoop和/opt/data/hadoop目录

10、修改/opt/module/hadoop和/opt/data/hadoop目录权限

例chmod -R 700 路径

mkdir -p 路径

11、配置hadoop环境

解压

[root@node1 modules]# tar xvf hadoop-1.0.3.tar 

#修改hadooop-1.0.3.tar的权限

chown hadoop:hadoop /opt/module/hadoop-1.0.3.tar

#配置HADOOP_HOME

1)、$HADOOP_HOME/conf/hadoop-env.sh 

export JAVA_HOME=/tmp/soft-src/jdk1.7.0_67
export HADOOP_HEAPSIZE=512

2)、/etc/profile.d/hadoop.sh

export HADOOP_HOME=/opt/modules/hadoop-1.0.3
export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH
export PATH=.:$HADOOP_HOME/bin:$PATH

12、配置集群

1)、配置core-site.xml

此配置文件,定义Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>
        <final>true</final>

</configuration>

2)、配置hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.name.dir</name>
    <value>/opt/data/hadoop/hdfs/name,/data1/hadoop/hdfs/name</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.data.dir</name>
    <value>/opt/data/hadoop/hdfs/data,/data1/hadoop/hdfs/data</value>
        <final>true</final>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
<value>/opt/data/hadoop/hdfs/secondarynamenode,/data1/hadoop/hdfs/secondarynamenode</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.http.address</name>
        <value>master:50070</value>
        <final>true</final>
    </property>
    <property>
        <name>dfs.secondary.http.address</name>
        <value>192.168.232.146:50090</value>
        <final>true</final>
    </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
                <final>true</final>
        </property>
        <property>
        <name>dfs.hosts</name>
        <value>/etc/hadoop/conf/include</value>
        <final>true</final>
    </property>
</configuration>

3)、配置mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.local.dir</name>
<value>/opt/data/hadoop/mapred/local,/data1/hadoop/mapred/local</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.system.dir</name>
        <value>/tmp/hadoop/mapred/system</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.tasktracker.map.tasks.maximum</name>
        <value>
            7
        </value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.tasktracker.reduce.tasks.maximum</name>
        <value>
            7
        </value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.child.java.opt</name>
        <value>-Xmx400m</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.hosts</name>
        <value>/etc/hadoop/conf/include</value>
        <final>true</final>
    </property>
    <property>
        <name>mapred.jobtracker.restart.recover</name>
        <value>true</value>
    </property>
</configuration>

4)、格式化hdfs

hadoop namenode -format

5)、修改/opt/modules/hadoop目录权限为hadoop

6)、修改/opt/data/hadoop/hdfs/name等文件权限为hadoop

7)、

#启动 master node

hadoop-daemon.sh start namenode

#启动 data node

hadoop-daemon.sh start datanode

#启动 jobtracker

hadoop-daemon.sh start jobtracker

#启动 tasktracker

hadoop-daemon.sh start tasktracker

8)、

查看日志信息

[root@master 桌面]# tail -100f /opt/modules/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-master.log


© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
VMware如何实现多台虚拟机与PC通信问题

本人在搭建hadoop集群环境,现在前提是要进行vmware的网络环境安装。 主机Win7 系统, PC上安装的vm,现在vm上已经安装了三台redhat 。 想实现pc 和 三台 redhat可以相互通信,以及redhat之间...

smh821025
2013/05/05
1K
5
RedHat 7编译升级OpenSSL、OpenSSH及NTP

上篇分享了RedHat 6.5编译安装升级OpenSSL、OpenSSH及NTP的博文,这篇来测试一下RedHat 7.2编译安装升级OpenSSL、OpenSSH及NTP,主要过程基本一致,不过openssh略有不同。上篇博文请见:RedHa...

jianlong1990
2018/06/26
0
0
0009-如何升级Cloudera Manager和CDH

1.文档编写目的 本文档讲述如何升级Cloudera Manager和CDH,通过本文档,您将学习到以下知识: 1.如何对Cloudera Manager进行停机升级 2.如何对CDH进行停机升级 3.如何在不影响集群作业的情况...

Hadoop实操
2018/11/15
37
0
RHEL5 SERVER和RHEL5AP(Red Hat Enterprise Linux )的区别

RHEL5 SERVER和RHEL5AP是红帽的2个产品,使用相同的介质光盘,主要区别是他们各自的支持范围。 RHEL5 SERVER 支持最多2路处理器的硬件,只支持4台虚拟主机,不支持高可用集群功能,负载均衡集...

彭苏云
2014/01/03
249
0
RHEL5实现高可用HA集群+GFS+EnterpriseDB

前言: 几个大家要注意的地方: 1、做Cluster应该要有Fence设备,当一台机器出现问题时处于正常状态的机器会通过Fence将其重启或关机以释放IP、磁盘等资源。 2、做HA要对服务的启动脚本做一点...

红薯
2010/04/21
1K
1

没有更多内容

加载失败,请刷新页面

加载更多

可见性有序性,Happens-before来搞定

写在前面 上一篇文章并发 Bug 之源有三,请睁大眼睛看清它们 谈到了可见性/原子性/有序性三个问题,这些问题通常违背我们的直觉和思考模式,也就导致了很多并发 Bug 为了解决 CPU,内存,IO ...

tan日拱一兵
26分钟前
2
0
网络七层模型与TCP/UDP

为了使全球范围内不同的计算机厂家能够相互之间能够比较协调的进行通信,这个时候就有必要建立一种全球范围内的通用协议,以规范各个厂家之间的通信接口,这就是网络七层模型的由来。本文首先...

爱宝贝丶
29分钟前
2
0
Jenkins World 贡献者峰会及专家答疑展位

本文首发于:Jenkins 中文社区 原文链接 作者:Marky Jackson 译者:shunw Jenkins World 贡献者峰会及专家答疑展位 本文为 Jenkins World 贡献者峰会活动期间的记录 Jenkins 15周岁啦!Jen...

Jenkins中文社区
47分钟前
8
0
杂谈:面向微服务的体系结构评审中需要问的三个问题

面向微服务的体系结构如今风靡全球。这是因为更快的部署节奏和更低的成本是面向微服务的体系结构的基本承诺。 然而,对于大多数试水的公司来说,开发活动更多的是将现有的单块应用程序转换为...

liululee
今天
7
0
OSChina 周二乱弹 —— 我等饭呢,你是不是来错食堂了?

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @ 自行车丢了:给主编推荐首歌 《クリスマスの夜》- 岡村孝子 手机党少年们想听歌,请使劲儿戳(这里) @烽火燎原 :国庆快来,我需要长假! ...

小小编辑
今天
745
11

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部