文档章节

[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境(二)

javaer
 javaer
发布于 2017/07/24 15:29
字数 302
阅读 9
收藏 0
点赞 0
评论 0

接上一篇,本篇继续介绍在虚拟机上搭建Hadoop完全分布式集群环境

安装和配置Java环境

安装JDK:jdk-8u121-Linux-x64.tar.gz 
链接:http://pan.baidu.com/s/1dFbzM4x 密码:3fbw

1、以master为例,下载完,解压,这些最好都在hadoop用户的根目录下执行,可以避免在其他目录没有权限的问题,解压完在移动到/usr/lib/jvm/jdk1.8.0_121目录下面,这个不是必须的,大家也可以移到其他目录:

hadoop@master:~$ cd ~
hadoop@master:~$ tar -zxvf ~/jdk-8u121-linux-x64.tar.gz
hadoop@master:~$ sudo mv ~/jdk1.8.0_121 /usr/lib/jvm/

这里写图片描述

2、配置环境变量

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

将上面的内容添加到~/.bashrc文件中,注意,JAVA_HOME后面的路径改成自己的安装路径:

hadoop@master:~$ vi ~/.bashrc
hadoop@master:~$ source ~/.bashrc

这里写图片描述

使用Java -version命令查看版本,如果出现以下信息,说明配置成功了: 
这里写图片描述

同样,也把slave1slave2安装和配置好java环境

master的jdk文件远程拷贝slave1slave2

scp /tmp/jdk-8u121-linux-x64.tar.gz hadoop@slave1:/tmp
scp /tmp/jdk-8u121-linux-x64.tar.gz hadoop@slave2:/tmp

 

本文转载自:http://blog.csdn.net/downing114/article/details/62429591

共有 人打赏支持
javaer
粉丝 20
博文 60
码字总数 7899
作品 0
太原
程序员
[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境(三)(终篇)

接前两篇,这是最终篇,前面的准备工作都完成了之后,我们开始安装和部署 安装和配置Hadoop hadoop-2.2.0x64.tar.gz 链接:http://pan.baidu.com/s/1boSGvrp 密码:559o 集群中每台机器的配置...

javaer
2017/07/25
28
0
Hadoop环境搭建及相关组件的工作流程介绍

1前言 本篇博客主要是记录Hadoop环境配置包括单机伪分布环境搭建,分布式环境搭建和Hadoop相关组件的工作流程介绍,包括HDFS读写流程,YARN的资源调度流程,MapReduce工作流程。 建议先理解各...

u014732537
05/24
0
0
(第2篇)一篇文章教你轻松安装hadoop

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装。 安装hadoop环...

I加加
2017/03/06
0
0
(第2篇)一篇文章教你轻松安装hadoop

点击链接 https://my.oschina.net/ijj/blog 关注我的博客。学习更多hadoop知识。 如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装had...

隐姓埋名啊
2017/03/17
180
0
【Hadoop】Hadoop 2.x 完全分布式环境搭建

1、前期准备:克隆 克隆前需要关闭所有正在运行的服务进程,然后关闭系统。克隆需要选择完整克隆。克隆出两台虚拟机,共三台。 克隆后需要修改配置: (1)/etc/sysconfig/network中的HOSTN...

gongxifacai_believe
04/22
0
0
大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶
05/05
0
0
shell 命令操作hdfs

简介 本编文章主要讲述shell 命令操作hdfs 主要讲述几个简单常用的shell 命令 如 ls get mkdir rm put 前提需要安装hdfs 作者用的是虚拟机搭建的伪分布式环境,如果没有搭建环境的可以参考这...

u012957549
2017/12/13
0
0
Hadoop+Zookeeper+Hbase分布式环境配置备忘

虚拟机环境: OS IP Host Name Java CentOS 6.6 192.168.56.101 master vm1-centos java-1.6.0-openjdk.x86_64 CentOS 6.6 192.168.56.102 slave1 vm2-centos java-1.6.0-openjdk.x86_64 Cen......

F风向标F
2015/10/18
82
0
hadoop文件路径问题

使用ubuntu虚拟机进行数据处理,搭好hadoop完全分布式环境之后,将要处理的2个文件上传到hadoop集群中,不是有eclipse,直接使用shell脚本去调用class文件进行处理数据,其中有2个fromcsv.c...

颠覆
2014/12/02
504
0
vmware converter p2v ubuntu 12.04

一、使用的vmware版本 vcenter 6.0 VMware-converter-en-6.0.0-2716716 二、安装VMware-converter 1、准备一台用于安装VMware-converter的虚拟机或物理机 系统:windows2008R2 cpu:至少1核 ...

757781091
2017/04/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

CoreText进阶(七)-添加自定义View和对其

CoreText进阶(七)-添加自定义View和对其 其它文章: CoreText 入门(一)-文本绘制 CoreText入门(二)-绘制图片 CoreText进阶(三)-事件处理 CoreText进阶(四)-文字行数限制和显示更多...

aron1992
13分钟前
0
0
Python爬虫 爬取百合网的女人们和男人们

学Python也有段时间了,目前学到了Python的类。个人感觉Python的类不应称之为类,而应称之为数据类型,只是数据类型而已!只是数据类型而已!只是数据类型而已!重要的事情说三篇。 据书上说...

p柯西
25分钟前
0
0
在Java中,你真的会日期转换吗

1.什么是SimpleDateFormat 在java doc对SimpleDateFormat的解释如下: SimpleDateFormatis a concrete class for formatting and parsing dates in a locale-sensitive manner. It allows fo......

Java小铺
33分钟前
0
0
Linux系统梳理---系统搭建(二):tomcat的安装和使用

上一章讲到JDK的安装使用,这一章主要记录下服务器tomcat的安装以及部署一个项目. 1.下载tomcat,这里下载的是apache-tomcat-8.5.32.tar.gz 2.创建文件夹,便于管理,和JDK一样,在usr目录下创建t...

勤奋的蚂蚁
44分钟前
0
0
ES15-聚合

1.Terms Aggregation 分组聚合 2.Filter Aggregation 过滤聚合

贾峰uk
45分钟前
0
0
【2018.07.19学习笔记】【linux高级知识 20.27-20.30】

20.27 分发系统介绍 20.28 expect脚本远程登录 20.29 expect脚本远程执行命令 20.30 expect脚本传递参数

lgsxp
48分钟前
0
0
10.32/10.33 rsync通过服务同步~10.35 screen工具

通过服务的方式同步要编辑配置文件:[root@linux-xl ~]# vim /etc/rsyncd.confport=873log file=/var/log/rsync.logpid file=/var/run/rsyncd.pidaddress=192.168.43.21[tes...

洗香香
51分钟前
0
0
与女儿谈商业模式 (3):沃尔玛的成功模式

分类:与女儿谈商业模式 | 标签: 经济学 沃尔玛 陈志武 2007-05-10 09:09阅读(11279)评论(30) 与女儿谈商业模式 (3):沃尔玛的成功模式 陈志武 /文 沃尔玛(Wal-Mart)是另一个有意思的财...

祖冲之
57分钟前
0
0
网页加载速度优化方法总结

1、减少请求 最大的性能漏洞就是一个页面需要发起几十个网络请求来获取诸如样式表、脚本或者图片这样的资源,这个在相对低带宽和高延迟的移动设备连接上来说影响更严重。 2、整合资源 对开发...

Jack088
今天
0
0
dubbo学习

https://blog.csdn.net/houshaolin/article/details/76408399

喵五郎
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部