文档章节

hadoop2.2.0集群环境部署详细步骤

e
 ehofy
发布于 2013/11/28 23:14
字数 556
阅读 341
收藏 1

探讨问题的同胞们可以加QQ群:315309006

1.windows下安装vmware workstation 9
2.vm虚拟网络编辑器选择添加网络 VMnet0 NAT,子网IP 192.168.2.0
3.install debian6,最简化安装,不从镜像下载安装
4.安装完成,以root身份登录debian系统
5.apt-cache search openssh
6.apt-get install openssh-server
7.切换putty以root身份进入debian
8.apt-get install gcc
9.apt-get install g++
10.apt-get install sudo
11.groupadd hadoop
12.useradd -g hadoop hadoop
13.passwd hadoop
14.vi /etc/sudoers 添加 hadoop ALL=(ALL:ALL) ALL
15.mkdir /home/hadoop
16.chown hadoop:hadoop /home/hadoop
15.su – hadoop
16.ssh-keygen -t rsa -P ""
17.cat /home/hadoop/.ssh/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys
18.chown hadoop:hadoop /home/hadoop/.ssh/authorized_keys
19.chmod 600 /home/hadoop/.ssh/authorized_keys
20.ssh localhost
21.上传jdk-7u45-linux-i586.tar.gz到root目录
22.上传hadoop-2.2.0.tar.gz到root目录
23.tar -zxvf /root/jdk-7u45-linux-i586.tar.gz -C /usr/java/
24.tar -zxvf /root/hadoop-2.2.0.tar.gz -C /opt/
25.mv /opt/hadoop-2.2.0/ /opt/hadoop
26.vi .bashrc 去掉export LS_OPTIONS...-1A' 前面的# 然后重新 su - root使设置生效
27.vi /etc/profile 添加
 export JAVA_HOME=/usr/java/jdk1.7.0_45
 export JRE_HOME=${JAVA_HOME}/jre
 export HADOOP_HOME=/opt/hadoop
 export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
 export PATH=${JAVA_HOME}/bin:$HADOOP_HOME/bin:$PATH
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export HADOOP_CONF_DIR=$HADOOP_HOME/conf
 export YARN_CONF_DIR=$HADOOP_HOME/conf
 然后重新 su - root使设置生效 $java查看是否生效
28.chown hadoop:hadoop /opt/hadoop
29.mkdir /opt/hadoop/conf
30.cp /opt/hadoop/etc/hadoop/* /opt/hadoop/conf
31.vi /opt/hadoop/conf/mapred-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
32.vi /opt/hadoop/conf/yarn-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
33.vi /opt/hadoop/conf/hadoop-env.sh
 增加export JAVA_HOME=/usr/java/jdk1.7.0_45
34.vi /opt/hadoop/conf/slave 增加slave1
 slave2
 slave3 注意要换行
35.修改conf下的配置文件core-site、hdfs-site、mapred-site、yarn-env四个xml文件
36.vi /etc/hosts 增加
 192.168.2.128	master
 192.168.2.129	slave1
 192.168.2.130	slave2
 192.168.2.131	slave3
37./opt/hadoop/bin/hdfs namenode -format
38.到vmware中将master克隆成多个slave,这个例子里面是三个
39.启动master/slave1-3四个虚拟机
40./opt/hadoop/sbin/start-dfs.sh (hadoop用户操作)
41./opt/hadoop/sbin/start-yarn.sh (hadoop用户操作)
42.http://192.168.2.128:50070 查看Live Nodes如果是3 启动成功

探讨问题的同胞们可以加QQ群:315309006

© 著作权归作者所有

e
粉丝 9
博文 11
码字总数 9463
作品 0
海淀
技术主管
私信 提问
hadoop 1.x升级至hadoop-2.2.0记录

一、概述 公司hadoop集群从1.2.1升级到2.2.0已经有一段时间,这篇blog将总结一下我前段时间在升级至hadoop2.2.0版本过程中遇到的一些问题,以及具体的升级步骤。 二、升级过程 (1)停掉hadoo...

zengzhaozheng
2018/07/02
0
0
64位linux下支持lzo的Hadoop 2.2.0分布式集群配置细节摘要

初学者搭建Hadoop环境容易陷入细节漩涡中,并不是说细节不重要,在程序世界中,细节恰恰是决定成败的关键。然而,如果能在深入细节之前对整体有全面、逻辑性的认识,那么遇到细节时也能准确定...

Iuranus
2014/06/16
266
0
centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境 安装VMware10 ,三台centos6.4 版本,安装在VMware虚拟机下。 1)安装中文输入法: 1、需要root权限,所以要用root登录 ,或su root 2、yum install "@Chinese Support" 2)安装...

kt431128
2014/06/03
8.6K
17
hadoop2.2.0安装笔记

NameNode 192.168.1.122 hadoop/hadoop VM 192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所......

陶诗德
2014/07/10
227
0
Hadoop2.2.0集群在RHEL6.2下的安装实战

本文介绍了一个Hadoop2.2.0集群的搭建过程,在2台4G内存的酷睿双核PC机上,使用VMWare WorkStation虚拟了4个RHEL6.2(1G内存、单核CPU、10G硬盘),总计用10个小时的时间,完成虚拟机制作和H...

蓝狐乐队
2014/04/21
191
0

没有更多内容

加载失败,请刷新页面

加载更多

编程作业20190210900169

1编写一个程序,提示用户输入名和姓,然后以“名,姓”的格式打印出来。 #include <stdio.h>#include <stdlib.h> int main(){ char firstName[20]; char lastName[20]; print......

1李嘉焘1
16分钟前
2
0
补码的优点及原理分析

只讨论整数 1.计算机内部为什么没有减法器? 减法运算本身其实就是加法,如x - y即x +(-y),所以只需要将负数成功表示出来并可以参加加法运算,那加法器就可同时实现“+”和“-”的运算。这...

清自以敬
31分钟前
59
0
Docker 可视化管理 portainer

官网安装指南: https://portainer.readthedocs.io/en/latest/deployment.html docker-compose.yml 位置,下载地址:https://downloads.portainer.io/docker-compose.yml...

Moks角木
58分钟前
5
0
Spring Security 实战干货:必须掌握的一些内置 Filter

1. 前言 上一文我们使用 Spring Security 实现了各种登录聚合的场面。其中我们是通过在 UsernamePasswordAuthenticationFilter 之前一个自定义的过滤器实现的。我怎么知道自定义过滤器要加在...

码农小胖哥
今天
8
0
常见分布式事务解决方案

1 微服务的发展 微服务倡导将复杂的单体应用拆分为若干个功能简单、松耦合的服务,这样可以降低开发难度、增强扩展性、便于敏捷开发。当前被越来越多的开发者推崇,很多互联网行业巨头、开源...

asdf08442a
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部