文档章节

Hadoop1.2.1分布式安装-1-准备篇

悟空太多啦
 悟空太多啦
发布于 2014/07/27 18:41
字数 468
阅读 670
收藏 3

说明:本文仅为提纲,每一步具体怎么操作请见博客中其他文章

1、准备两台CentOS6.5虚拟机。请确认iptables和selinux等防火墙或访问控制机制已关闭

chkconfig iptables off
service iptables stop

chkconfig selinux off
service selinux stop

使用VirtualBox复制多台虚拟机时,请重新初始化网络,并设置主机名、ip等。当然在ip等设置好后可能仍然主机间无法通讯,或许以下链接可以帮助你:

VirtualBox克隆后网卡无法正常启动的处理办法

2、网络设置为桥接方式

参考:

http://www.cnblogs.com/york-hust/archive/2012/03/29/2422911.html

http://www.douban.com/group/topic/15558388/

3、创建用户用于hadoop安装

参考Linux常用命令

注意:除配置网络设置和jdk安装使用root之外,其他都是用本步创建的用户。

4、配置hostname,设置主机名

参考【网络】CentOS6.5下修改hostname主机名

5、配置host,设置ip和主机名的映射

vi /etc/hosts

      在文件中增加以下内容

192.168.1.13    bd03
192.168.1.14    bd04
192.168.1.15    bd05

6、配置静态ip

参考【网络】CentOS6.5下设置静态IP

注意:不同主机请设置到同一网段。

7、配置SSH免密码登录

参考SSH免密码登录的配置方法

注意:SSH的目的是为了hadoop的众多进程间通讯,所以应使用之前创建的hadoop安装用户。需要的话,root也可以做一下,为了方便运维。除了要配置与其他机器的SSH免密码外,还要配置本机到本机的免密码SSH,否则在启动hadoop的时候,还是会提示输入密码。

8、下载并安装JDK(压缩包版),配置环境变量

参考【开发环境】CentOS6.5下安装Oracle JDK


© 著作权归作者所有

悟空太多啦

悟空太多啦

粉丝 20
博文 86
码字总数 72074
作品 1
南京
其他
私信 提问
Hadoop2.4.1分布式安装

1、做好下文中的所有配置:Hadoop1.2.1分布式安装-1-准备篇。 2、Hadoop2.x的发行版中有个小问题:libhadoop.so.1.0.0在64位OS中存在问题,因为它是32位的,在64位OS中hadoop启动时会报一个W...

悟空太多啦
2014/07/30
1.9K
0
Mahout安装与配置笔记

一、硬件环境 操作系统:Linux ubuntu-13.04-desktop-i386 jdk安装版本:jdk-7u51-linux-i586 Hadoop版本:Hadoop-1.1.1(一个Namenode,三个Datanode部署) 二、安装步骤 在Mahout安装之前读...

kartik
2014/06/01
0
0
下载气象数据集部分数据,写一个Map-Reduce作业,求每年的最低温度

环境:CentOS6.6 Hadoop1.2.1 1.设置 HADOOP_PREFIX 环境变量 [grid@hadoop1 ~]$ cat .bash_profileHADOOP_PREFIX=/home/grid/hadoop-1.2.1PATH=$PATH:$HOME/bin:$HADOOP_PREFIX/binexport ......

张超
2015/01/15
1.2K
0
centos6.5 安装hadoop1.2.1亲测版

本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave10.11.84.5 web-crawler--2.novalocal slave10.11.84.6 web-crawler--3.novalocal slave 2.安装目录 ......

生心无住
2018/08/09
0
0
Hadoop1.2.1分布式安装-2-安装篇

1、在打算做namenode的机器上,wget或其他方式下载hadoop的压缩包,并解压到本地指定目录 下载解压命令参考Linux常用命令。 2、配置namenode,修改site文件 修改core-site.xml <configuratio...

悟空太多啦
2014/07/27
218
0

没有更多内容

加载失败,请刷新页面

加载更多

spring-boot-maven-plugin not found的解决方案。

通过IDE创建一个springboot项目, <plugin> <groupId>org.springframework.boot</groupId>//这行红色 <artifactId>spring-boot-maven-plugin</artifactId>//这行红色</plugin> 提示sprin......

一片云里的天空
今天
52
0
OSChina 周三乱弹 —— 我可能是个憨憨

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @宇辰OSC :分享Hare Je的单曲《Alan Walker-Faded(Hare Je remix)》: #今日歌曲推荐# 可以放松大脑的一首纯音乐 《Alan Walker-Faded(Har...

小小编辑
今天
99
0
搞定SpringBoot多数据源(3):参数化变更源

春节将至,今天放假了,在此祝小伙伴们新春大吉,身体健康,思路清晰,永远无BUG! 一句话概括:参数化变更源意思是根据参数动态添加数据源以及切换数据源,解决不确定数据源的问题。 1. 引言...

mason技术记录
昨天
99
0
sql 基础知识

sql 基础知识 不要极至最求一条sql语句搞定一切,可合理拆分为多条语句 1. sql 变量定义与赋值 Sql 语句中,直接在SELECT使用@定义一个变量,如:[@a](https://my.oschina.net/a8856225a)。 ...

DrChenXX
昨天
57
0
MacOSX 安装 TensorFlow

TensorFlow是一个端到端开源机器学习平台。它拥有一个包含各种工具、库和社区资源的全面灵活生态系统,可以让研究人员推动机器学习领域的先进技术的。 准备 安装 Anaconda TensorFlow 安装的...

叉叉敌
昨天
79
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部