文档章节

hadoop3种集群方式

乐搏学院
 乐搏学院
发布于 2017/07/26 17:37
字数 549
阅读 25
收藏 0

 hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式

  1独立模式

安装

  a)下载jdk-8u65-linux-x64.tar.gz

  b)tar开

  $>su centos ; cd ~

  $>mkdir downloads

  $>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

  $>tar -xzvf jdk-8u65-linux-x64.tar.gz

  c)创建/soft文件夹

  $>sudo mkdir /soft

  $>sudo chown centos:centos /soft

  d)移动tar开的文件到/soft下

  $>mv ~/downloads/jdk-1.8.0_65 /soft/

  e)创建符号连接

  $>ln -s /soft/jdk-1.8.0_65 /soft/jdk

  f)验证jdk安装是否成功

  $>cd /soft/jdk/bin

  $>./java -version

配置jdk环境变量

  1.编辑/etc/profile

  $>sudo nano /etc/profile

  ...

  export JAVA_HOME=/soft/jdk

  exprot PATH=$PATH:$JAVA_HOME/bin

  2.使环境变量即刻生效

  $>source /etc/profile

  3.进入任意目录下,测试是否ok

  $>cd ~

  $>java -version

  注意点

  你创建文件夹一定和你登陆的用户一致

安装HADOOP软件

   1.安装hadoop

  a)下载hadoop-2.7.3.tar.gz

  b)tar开

  $>su centos ; cd ~

  $>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

  $>tar -xzvf hadoop-2.7.3.tar.gz

  c)无

  d)移动tar开的文件到/soft下

  $>mv ~/downloads/hadoop-2.7.3 /soft/

  e)创建符号连接

  $>ln -s /soft/hadoop-2.7.3 /soft/hadoop

  f)验证hadoop安装是否成功

  $>cd /soft/hadoop/bin

  $>./hadoop version

  2.配置hadoop环境变量

  $>sudo nano /etc/profile

  ...

  export JAVA_HOME=/soft/jdk

  exprot PATH=$PATH:$JAVA_HOME/bin

  export HADOOP_HOME=/soft/hadoop

  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  3.生效

  $>source /etc/profile

  4.进入任意目录下,测试是否ok

  $>cd ~

  $>hadoop version

  5.nothing !

  不需要启用单独的hadoop进程。

  6.hafs dfs -ls /home 和 linux中的ls效果一样

伪分布模式(Pseudodistributed mode)

  a)进入${HADOOP_HOME}/etc/hadoop目录

  三种模式共存

   1.创建三个配置目录,内容等同于hadoop目录

   ${hadoop_home}/etc/local

   ${hadoop_home}/etc/pesudo

   ${hadoop_home}/etc/full

   2.创建符号连接

   $>ln -spesudo hadoop

  b)编辑core-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>fs.defaultFS</name>

  <value>hdfs://localhost/</value>

  </property>

  </configuration>

  c)编辑hdfs-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>dfs.replication</name>

  <value>1</value>

  </property>

  </configuration>

  d)编辑mapred-site.xml

  注意:cp mapred-site.xml.template mapred-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  </property>

  </configuration>

  e)编辑yarn-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>yarn.resourcemanager.hostname</name>

  <value>localhost</value>

  </property>

  <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

  </property>

  </configuration>

  配置:core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

   f)配置SSH

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 9
博文 526
码字总数 707467
作品 0
丰台
程序员
私信 提问
Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(4)Hadoop高可用+联邦(HA+Federation)

第四阶段: Hadoop高可用+联邦(HA+Federation) 0. 步骤概述 1. 为高可用保存hadoop配置 1.1 进入$HADOOP_HOME/etc/目录 1.2 备份hadoop高可用配置,供以后使用 1.3 查看$HADOOP_HOME/etc/目录...

bigablecat
2018/01/05
0
0
VMware 下Hadoop集群环境搭建之虚拟机克隆,Hadoop环境配置

在上一篇我们完成了ContOS网络配置以及JDK的安装,这一篇将在上一篇的基础上继续讲解虚拟机的克隆,hadoop环境搭建 传送门: VMware 下Hadoop集群环境搭建之新建虚拟机 VMware 下Hadoop集群环境...

lljjyy001
2018/05/05
0
0
hadoop2的federation+HA配置启动后,活着的datanode节点不对,如何解决?

hadoop2的federation+HA,hadoop1和hadoop2为c1联邦+HA,hadoop3和hadoop4为c2联邦+HA,hadoop1、hadoop2、hadoop3、hadoop4都为datanode。格式化成功,但启动集群后,活着的datanode节点不对...

mvp31
2014/08/19
809
0
Hadoop2.6.1集群部署之自动切换HA

1. 引言 在上篇博客中介绍了Haddop的手动切换NameNode,这在生产环境中还是不尽人意,因为工作人员可能并不会及时的知道NameNode什么时候宕机?因此在生产环境中实现NameNode的动态切换是十分...

Liri
2017/12/16
0
0
微服务架构实战学习(七):Eureka 高可用

上一篇最后提到我们的 Eureka Server 只有一个进程在运行,一旦发生不可预料的问题,进程停止,服务也就停止。 而 Eureka 的解决方案就是为 Eureka Server 构建一个集群,使用多个服务来同时...

雨林_a1d6
2018/06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如何在 Linux 系统查询机器最近重启时间

在你的 Linux 或类 UNIX 系统中,你是如何查询系统上次重新启动的日期和时间?怎样显示系统关机的日期和时间? last 命令不仅可以按照时间从近到远的顺序列出该会话的特定用户、终端和主机名...

来来来来来
今天
2
0
Redis协议是什么样的

前言 我们用过很多redis的客户端,有没有相过自己撸一个redis客户端? 其实很简单,基于socket,监听6379端口,解析数据就可以了。 redis协议 解析数据的过程主要依赖于redis的协议了。 我们...

春哥大魔王的博客
今天
4
0
乱入Linux界的我是如何学习的

欢迎来到建哥学Linux,咳!咳!咳!开个玩笑哈,我是一个IT男,IT界的入门选手,正在学习Linux。 在之前,一直想进军IT界,学习IT技术,但是苦于没有人指导,也不知道学什么,最开始我自己在...

linuxCool
今天
3
0
携程Apollo统一配置中心的搭建和使用(java)

一.Apollo配置中心介绍 1、What is Apollo 1.1 Apollo简介 Apollo(阿波罗)是携程框架部门研发的开源配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到...

morpheusWB
今天
3
0
远程获得的有趣的linux命令

使用这些工具从远程了解天气、阅读资料等。 我们即将结束为期 24 天的 Linux 命令行玩具日历。希望你有一直在看,如果没有,请回到开始,从头看过来。你会发现 Linux 终端有很多游戏、消遣和...

Linux就该这么学
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部