文档章节

hadoop2.2.0部署

langke
 langke
发布于 2016/08/03 17:18
字数 769
阅读 4
收藏 0
hadoop2.2.0部署

下载安装包

hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz

解压

tar zxvf hadoop-2.2.0-cdh5.0.0-beta-1.tar.gz

ln -s /opt/hadoop-2.2.0-cdh5.0.0-beta-1 ~/hadoop

所有节点都解压

ssh双向认证

配置所有机器hosts

vi /etc/hosts

10.10.1.1 hadoop1

10.10.1.2 hadoop2

10.10.1.3 hadoop3

 

使用hostname 设置主机名

修改/etc/sysconfig/network 中的内容改为相应的主机名

 

在.ssh目录生成id_rsa.pub ,添加到本机~/.ssh/authorized_keys文件里面

ssh-keygen -q -t rsa

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

本机登入验证:ssh localhost

复制authorized_keys到其他机器上

scp ~/.ssh/id_rsa.pub hadoop3:~/

cat ~/id_rsa.pub >> ~/.ssh/authorized_keys 

chmod 600 ~/.ssh/authorized_keys

chmod 700 ~/.ssh

其他机器重复以上步骤

修改环境参数

vi /etc/profile

增加以下内容:

export JAVA_HOME=/opt/jdk1.7.0_51

export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_DEV_HOME=/home/hadoop/hadoop

export PATH=$PATH:$HADOOP_DEV_HOME/bin

 

修改ulimit

vi /etc/security/limits.d/90-nproc.conf 

* soft nproc 502400

 

执行环境参数 

source /etc/profile

修改hadoop配置

1.编辑同步脚本:vi hadoop/cp2slaves.sh

BASE_PATH=`dirname $0`

cd $BASE_PATH

echo `/bin/pwd`

scp etc/hadoop/* hadoop2:~/hadoop/etc/hadoop/

scp etc/hadoop/* hadoop3:~/hadoop/etc/hadoop/

 

2.配置hadoop/etc/hadoop/hadoop-env.sh

JAVA_HOME修改为:

export JAVA_HOME=/opt/jdk

HADOOP_PID_DIR修改为:

export HADOOP_PID_DIR=${HADOOP_LOG_DIR}

 

3.创建hadoop工作目录

mkdir -p /home/hadoop/tmp

mkdir -p /home/hadoop/hdfs/name

mkdir -p /home/hadoop/hdfs/data

mkdir -p /home/hadoop/hadoop-yarn

4.配置hadoop/etc/hadoop/core-site.xml

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop1:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>hadoop1</value>

</property>

<property>

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

5.配置hadoop/etc/hadoop/mapred-site.xml

mv hadoop/etc/hadoop/mapred-site.xml.template hadoop/etc/hadoop/mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop1:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop1:19888</value>

</property>

<property>

    <name>mapreduce.jobhistory.intermediate-done-dir</name>

    <value>/mr-history/tmp</value>

</property>

<property>

    <name>mapreduce.jobhistory.done-dir</name>

    <value>/mr-history/done</value>

</property>

6.配置hadoop/etc/hadoop/hdfs-site.xml

<property>

<name>dfs.name.dir</name>

<value>file:/home/hadoop/hdfs/name</value>

<description> </description>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop1:9001</value>

</property>

<property>

<name>dfs.data.dir</name>

<value>file:/home/hadoop/hdfs/data</value>

</property>

<property>

<name>dfs.http.address</name>

<value>hadoop1:9002</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

7.编辑hadoop/etc/hadoop/masters 

haoop1

8.编辑hadoop/etc/hadoop/slaves

hadoop1

hadoop2

hadoop3

9.编辑hadoop/etc/hadoop/yarn-site.xml 

        <property>

                <name>yarn.resourcemanager.address</name>

                <value>hadoop1:8032</value>

        </property>

        <property>

                <description>The address of the scheduler interface.</description>

                <name>yarn.resourcemanager.scheduler.address</name>

                <value>hadoop1:8030</value>

        </property>

        <property>

                <description>The address of the RM web application.</description>

                <name>yarn.resourcemanager.webapp.address</name>

                <value>hadoop1:8088</value>

        </property>

        <property>

                <name>yarn.resourcemanager.resource-tracker.address</name>

                <value>hadoop1:8031</value>

        </property>

        <property>

                <description>The address of the RM admin interface.</description>

                <name>yarn.resourcemanager.admin.address</name>

                <value>hadoop1:8033</value>

        </property>

        <property>

                <description>The hostname of the NM.</description>

                <name>yarn.nodemanager.hostname</name>

                <value>0.0.0.0</value>

        </property>

        <property>

                <description>The address of the container manager in the NM.

                </description>

                <name>yarn.nodemanager.address</name>

                <value>${yarn.nodemanager.hostname}:0</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

                <value>org.apache.hadoop.mapred.ShuffleHandler</value>

        </property>

        <property>

                <name>yarn.log-aggregation-enable</name>

                <value>true</value>

        </property>

        <property>

                <description>List of directories to store localized files in.

                </description>

                <name>yarn.nodemanager.local-dirs</name>

                <value>/home/hadoop/hadoop-yarn/cache/${user.name}/nm-local-dir</value>

        </property>

        <property>

                <description>Where to store container logs.</description>

                <name>yarn.nodemanager.log-dirs</name>

                <value>/home/hadoop/hadoop-yarn/containers</value>

        </property>

        <property>

                <name>yarn.nodemanager.remote-app-log-dir</name>

                <value>/hadoop/hadoop-yarn/apps</value>

        </property>

        <property>

                <name>yarn.app.mapreduce.am.staging-dir</name>

                <value>/hadoop/staging</value>

        </property>

 

10.同步配置文件

sh hadoop/cp2slaves.sh

格式化namenode

hadoop/bin/hdfs namenode -format

启动

hadoop/sbin/start-all.sh

测试验证

http://hadoop1:8088
hadoop/bin/hadoop fs -df -h
hadoop/bin/hadoop jar hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0-cdh5.0.0-beta-1.jar pi 5 10

停止

hadoop/sbin/stop-all.sh
 

本文转载自:http://www.cnblogs.com/langke93/p/3667705.html

上一篇: Flickr架构
下一篇: nginx rewrite
langke
粉丝 1
博文 70
码字总数 3645
作品 0
架构师
私信 提问
hadoop 1.x升级至hadoop-2.2.0记录

一、概述 公司hadoop集群从1.2.1升级到2.2.0已经有一段时间,这篇blog将总结一下我前段时间在升级至hadoop2.2.0版本过程中遇到的一些问题,以及具体的升级步骤。 二、升级过程 (1)停掉hadoo...

zengzhaozheng
2018/07/02
0
0
centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境 安装VMware10 ,三台centos6.4 版本,安装在VMware虚拟机下。 1)安装中文输入法: 1、需要root权限,所以要用root登录 ,或su root 2、yum install "@Chinese Support" 2)安装...

kt431128
2014/06/03
8.6K
17
hadoop2.2.0安装笔记

NameNode 192.168.1.122 hadoop/hadoop VM 192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所......

陶诗德
2014/07/10
227
0
hadoop+mahout

@李航421 你好,想跟你请教个问题:我在使用hadoop2.2.0开发mahout0.9的时候遇见一个奇怪的问题,第一个job能执行成功,启动第二个job的时候出错,我运行的是itemrecommend那个商品推荐例子,...

qinsheng
2014/08/12
530
3
hadoop 2.2.0 编译运行wordcount

hadoop2.2.0 编译运行wordcount,因为hadoop2.2.0不支持eclipse的插件,所以运行wordcount,需要手动编译并将wordcount打包成jar包来运行,下面记录一下编译运行的过程,希望能给大家有些帮助...

Adel
2014/09/05
692
1

没有更多内容

加载失败,请刷新页面

加载更多

查看线上日志常用命令

cat 命令(文本输出命令) 通常查找出错误日志 cat error.log | grep 'nick' , 这时候我们要输出当前这个日志的前后几行: 显示file文件里匹配nick那行以及上下5行 cat error.log | grep -C ...

xiaolyuh
11分钟前
3
0
六、Java设计模式之工厂方法

工厂方法定义: 定义一个创建对象的接口,但让实现这个接口的类来决定实例化哪个类,工厂方法让类的实例化推迟到子类中进行 类型:创建型 工厂方法-使用场景: 创建对象需要大量重复的代码 ...

东风破2019
18分钟前
2
0
win服务器管理遇到的一系列问题记录

有些小伙伴在使用iis7远程桌面管理工具的时候总是会遇到一系列的问题,下面就是为大家介绍一下服务器日常管理过程中出现的问题及我的解决办法和心得。希望能帮到大家。   拒绝服务器重新启...

1717197346
25分钟前
2
0
flutter 剪切板 复制粘贴

复制粘贴功能 import 'package:flutter/services.dart'; Clipboard.setData(ClipboardData(text:_text));Clipboard.getData;...

zdglf
28分钟前
2
0
如何保证消息的可靠性传输?或者说,如何处理消息丢失的问题?

面试题 如何保证消息的可靠性传输?或者说,如何处理消息丢失的问题? 面试官心理分析 这个是肯定的,用 MQ 有个基本原则,就是数据不能多一条,也不能少一条,不能多,就是前面说的重复消费...

米兜
28分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部