文档章节

CentOS7安装配置hadoop0.20,附带虚拟机集成资源包

奔跑的菜菜
 奔跑的菜菜
发布于 2016/07/12 16:43
字数 916
阅读 280
收藏 17

主要讲解hadoop的入门安装配置

环境为vmware11,CentOS 7,Hadoop 0.20.2,jdk1.8

这里解释下为什么用hadoop0.20.2,虽然最新版的hadoop性能上有了很大的提高,但是随之而来的bug也是明显增多,不稳定的因素也在增加,对于刚接触hadoop的朋友,个人建议使用这个版本,因为稳定,bug少,资料多,用于学习是最适合不过的了。

安装步骤如下(默认已经将CentOS
7安装在vmware11,我安装的是带GUI的服务器):

Jdk准备

a) 卸载自带的openjdk

查看openjdk安装情况

yum list java*

卸载openjdk

yum erase 要卸载的包名 –y

a) 安装jdk1.8\
rpm –i jdk-8u91-linux-x64.rpm

b) 配置环境变量

参考我的这篇文章:http://blog.csdn.net/feiepuhuo001/article/details/51880875

Hadoop准备

这里解释下为什么要在windows下操作,第一是简单方便,第二是后续eclipse集成时需要这个已经解压的文件。

a) window环境下下载hadoop压缩包并解压

下载下来是tar.gz格式的文件,大部分windows下解压软件都是可以解压的,和解压zip格式文件没什么区别

a) 配置

解压后进入conf目录,修改6个文件

  • hadoop-env.sh

正确导入本地的JAVA_HOME目录信息

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

export JAVA_HOME=/usr/java/jdk1.8.0_91

  • core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://192.168.1.130:54310/</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

</configuration>

这里解释下fs.default.name的属性值最好不要配置localhost,后续eclipse配置时会时不时出些问题,使用ip地址最为稳妥,端口号建议不要设置成9000或者50020这种容易冲突的端口。

  • hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

  • mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>192.168.1.130:54311</value>

</property>

</configuration>

同理最好不要设置成localhost

  • masters

192.168.1.130

填上自己的ip就可以了

  • slaves

192.168.1.130

填上自己的ip就可以了

a) 打包上传到CentOS上

打包肯定不能用zip打包,linux下当然是tar格式,不过windows下大部分压缩软件不支持tar格式压缩,推荐7z,自行百度下载。

使用ssh工具连接服务器,调用rz命令,上传文件,当然vmware也可以直接复制的.

a) 解压并配置环境变量

服务器上解压

tar –xzvf hadoop.tar

配置环境变量,过程同配置JAVA_HOME,不配置也可以,但是配置后就可以在任意目录下调用hadoop命令

a) ssh免登陆

在我们开始测试之前有非常重要的一步,ssh免登录,我当前用户为hadoop。

命令如下:

ssh-keygen -t rsa -P “”

一路回车到底

cat /home/hadoop/.ssh/id_rsa.pub >> /home/
hadoop/.ssh/authorized_keys

测试:

ssh localhost

正常情况如下:

这里写图片描述

如果你需要输入密码,则表示没有成功,原因大多数情况是权限问题,输入如下命令:

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

再次测试就可以了。

格式化、运行并测试

命令如下:

  • 格式化:hadoop namenode –format

  • 启动:start-all.sh

测试是否成功:jps

这里写图片描述

如图所示即为成功,缺一个都是失败的。

如果只缺NameNode,最大的可能是格式化失败,重新格式化,但是之前必须要先删除临时文件,core-site.xml文件里配置的/home/hadoop/tmp这个目录,如果缺好几个进程,则可能是端口冲突,换个端口试试。

  • 停止

stop-all.sh

附带资源下载:
http://download.csdn.net/detail/feiepuhuo001/9573478

如有错误,还望指出,共同进步;手敲累抽搐,装载注出处。

© 著作权归作者所有

奔跑的菜菜
粉丝 7
博文 10
码字总数 10088
作品 0
马鞍山
程序员
私信 提问
加载中

评论(3)

奔跑的菜菜
奔跑的菜菜 博主

引用来自“coder4j”的评论

linux也能打zip包
这倒没试过,一直以为只能tar呢
coder4j
coder4j
linux也能打zip包
luv
luv
很好
VirturlBox 创建Centos7并配置网络NAT+Host-Only

近两年的项目开发用的php语言,用的laravel框架,使用的环境一直是官方推荐的Homestead,最近接触docker技术,觉得很不错,在自己的服务器上也成功使用laradock集成环境完成了laravel项目部署...

卓上一品
2018/11/30
0
0
开发人员学Linux(2):VirtualBox中安装CentOS7系统设置

上一篇《VirtualBox中安装CentOS7过程记录》中讲述了如何安装VirtualBox和在VirtualBox中安装CentOS7,但是限于篇幅有很多问题没有展开,在本篇将展开介绍VirtualBox和CentOS的设置问题。 Vi...

周金桥
2018/06/29
0
0
开发人员学Linux(2):VirtualBox中安装CentOS7系统设置

上一篇《VirtualBox中安装CentOS7过程记录》中讲述了如何安装VirtualBox和在VirtualBox中安装CentOS7,但是限于篇幅有很多问题没有展开,在本篇将展开介绍VirtualBox和CentOS的设置问题。 Vi...

周金桥
2017/10/31
36
0
Centos7中部署安装Oracle 12c

oracle数据库是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它...

cchenyz
2018/07/11
0
0
eclipse配置hadoop开发环境并运行WordCount小程序

本篇博客讲述如何用eclipse配置hadoop的开发环境,并且建立第一个小程序,WordCount。 本篇博客一些配置选项基于上一篇博客hadoop环境的配置。 环境说明:eclipse3.7,插件hadoop-eclipse-pl...

奔跑的菜菜
2016/07/12
92
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
4
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
8
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部