文档章节

hadoop3种集群方式

乐搏学院
 乐搏学院
发布于 2017/07/26 17:37
字数 549
阅读 20
收藏 0
点赞 0
评论 0

 hadoop3种集群方式包括独立模式、伪分布式模式和完全分布式模式

  1独立模式

安装

  a)下载jdk-8u65-linux-x64.tar.gz

  b)tar开

  $>su centos ; cd ~

  $>mkdir downloads

  $>cp /mnt/hdfs/downloads/bigdata/jdk-8u65-linux-x64.tar.gz ~/downlooads

  $>tar -xzvf jdk-8u65-linux-x64.tar.gz

  c)创建/soft文件夹

  $>sudo mkdir /soft

  $>sudo chown centos:centos /soft

  d)移动tar开的文件到/soft下

  $>mv ~/downloads/jdk-1.8.0_65 /soft/

  e)创建符号连接

  $>ln -s /soft/jdk-1.8.0_65 /soft/jdk

  f)验证jdk安装是否成功

  $>cd /soft/jdk/bin

  $>./java -version

配置jdk环境变量

  1.编辑/etc/profile

  $>sudo nano /etc/profile

  ...

  export JAVA_HOME=/soft/jdk

  exprot PATH=$PATH:$JAVA_HOME/bin

  2.使环境变量即刻生效

  $>source /etc/profile

  3.进入任意目录下,测试是否ok

  $>cd ~

  $>java -version

  注意点

  你创建文件夹一定和你登陆的用户一致

安装HADOOP软件

   1.安装hadoop

  a)下载hadoop-2.7.3.tar.gz

  b)tar开

  $>su centos ; cd ~

  $>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads

  $>tar -xzvf hadoop-2.7.3.tar.gz

  c)无

  d)移动tar开的文件到/soft下

  $>mv ~/downloads/hadoop-2.7.3 /soft/

  e)创建符号连接

  $>ln -s /soft/hadoop-2.7.3 /soft/hadoop

  f)验证hadoop安装是否成功

  $>cd /soft/hadoop/bin

  $>./hadoop version

  2.配置hadoop环境变量

  $>sudo nano /etc/profile

  ...

  export JAVA_HOME=/soft/jdk

  exprot PATH=$PATH:$JAVA_HOME/bin

  export HADOOP_HOME=/soft/hadoop

  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  3.生效

  $>source /etc/profile

  4.进入任意目录下,测试是否ok

  $>cd ~

  $>hadoop version

  5.nothing !

  不需要启用单独的hadoop进程。

  6.hafs dfs -ls /home 和 linux中的ls效果一样

伪分布模式(Pseudodistributed mode)

  a)进入${HADOOP_HOME}/etc/hadoop目录

  三种模式共存

   1.创建三个配置目录,内容等同于hadoop目录

   ${hadoop_home}/etc/local

   ${hadoop_home}/etc/pesudo

   ${hadoop_home}/etc/full

   2.创建符号连接

   $>ln -spesudo hadoop

  b)编辑core-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>fs.defaultFS</name>

  <value>hdfs://localhost/</value>

  </property>

  </configuration>

  c)编辑hdfs-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>dfs.replication</name>

  <value>1</value>

  </property>

  </configuration>

  d)编辑mapred-site.xml

  注意:cp mapred-site.xml.template mapred-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

  </property>

  </configuration>

  e)编辑yarn-site.xml

  <?xml version="1.0"?>

  <configuration>

  <property>

  <name>yarn.resourcemanager.hostname</name>

  <value>localhost</value>

  </property>

  <property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

  </property>

  </configuration>

  配置:core-site.xml hdfs-site.xmls yarn-site.xml mapred-site.xml

   f)配置SSH

登录乐搏学院官网http://www.learnbo.com/

或关注我们的官方微博微信,还有更多惊喜哦~

© 著作权归作者所有

共有 人打赏支持
乐搏学院
粉丝 6
博文 526
码字总数 707467
作品 0
丰台
程序员
VMware 下Hadoop集群环境搭建之虚拟机克隆,Hadoop环境配置

在上一篇我们完成了ContOS网络配置以及JDK的安装,这一篇将在上一篇的基础上继续讲解虚拟机的克隆,hadoop环境搭建 传送门: VMware 下Hadoop集群环境搭建之新建虚拟机 VMware 下Hadoop集群环境...

lljjyy001 ⋅ 05/05 ⋅ 0

Hadoop手把手逐级搭建,从单机伪分布到高可用+联邦(4)Hadoop高可用+联邦(HA+Federation)

第四阶段: Hadoop高可用+联邦(HA+Federation) 0. 步骤概述 1. 为高可用保存hadoop配置 1.1 进入$HADOOP_HOME/etc/目录 1.2 备份hadoop高可用配置,供以后使用 1.3 查看$HADOOP_HOME/etc/目录...

bigablecat ⋅ 01/05 ⋅ 0

Hadoop2.6.1集群部署之自动切换HA

1. 引言 在上篇博客中介绍了Haddop的手动切换NameNode,这在生产环境中还是不尽人意,因为工作人员可能并不会及时的知道NameNode什么时候宕机?因此在生产环境中实现NameNode的动态切换是十分...

Liri ⋅ 2017/12/16 ⋅ 0

kafka集群安装启动测试*

本次安装是kafka_2.9.2-0.8.1.1.tgz版本的,不要下载src版本,在每个kafka节点安装配置如下: 安装 1、kafka需要jdk环境,首先安装jdk环境。 2、解压kafka安装包,修改config/server.propert...

cjun1990 ⋅ 2014/11/24 ⋅ 0

Spark2.0.0集群部署教程

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署Hadoop的集群,因为...

Liri ⋅ 2017/12/16 ⋅ 0

hadoop2的federation+HA配置启动后,活着的datanode节点不对,如何解决?

hadoop2的federation+HA,hadoop1和hadoop2为c1联邦+HA,hadoop3和hadoop4为c2联邦+HA,hadoop1、hadoop2、hadoop3、hadoop4都为datanode。格式化成功,但启动集群后,活着的datanode节点不对...

mvp31 ⋅ 2014/08/19 ⋅ 0

Hadoop2.6.1集群部署之手工切换HA

1. 引言 在生产环境中NameNode的高可用是非常重要的,一旦NameNode宕机,那么整合集群就不能用了,在本篇博客中就主要介绍一下Hadoop2.6.1的HA部署(手动切换),在本篇博客中博主使用五台干...

Liri ⋅ 2017/12/16 ⋅ 0

Hadoop2的集群搭建

在这里我们选用4台机器进行示范,各台机器的职责如下表格所示 hadoop0 hadoop1 hadoop2 hadoop3 是NameNode吗? 是,属集群cluster1 是,属集群cluster1 是,属集群cluster2 是,属集群clust...

lixiyuan ⋅ 2014/07/30 ⋅ 0

hadoop2集群搭建过程

在这里我选用4台机器进行示范,各台机器的职责如下表格所示 (说明: 1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率,又对m...

zouqingyun ⋅ 2016/03/22 ⋅ 0

hadoop2.7.2集群搭建

集群规划: 1. zookeeper集群搭建 1.1 解压 1.2 修改配置 修改: 在zoo.cfg最后添加: 1.3 将配置好的zookeeper拷贝到其他节点 注意:修改hadoop4、hadoop5对应/home/hbase /zookeeper-3.4....

你我他有个梦 ⋅ 2016/10/26 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Qt中的坑--QTreeWidget添加item 不能显示出来

QTreeWidget* pTree = ui.TreeCheckList; QTreeWidgetItem* item = new QTreeWidgetItem(pTree) ;item->setText ( 0, "test" );pTree->addTopLevelItem (item ); 原因是因为创建一个......

k91191 ⋅ 24分钟前 ⋅ 0

使用Guava的RateLimiter做限流

场景: 1. 在日常生活中,我们肯定收到过不少不少这样的短信,“京东最新优惠卷…”,“天猫送您…”。这种类型的短信是属于推广性质的短信。这种短信一般群发量会到千万级别。然而,要完成这...

wind2012 ⋅ 24分钟前 ⋅ 0

QSlider重新enterEvent

#ifndef DIALOG_H#define DIALOG_H#include <QDialog>namespace Ui {class Dialog;}class Dialog : public QDialog{ Q_OBJECTpublic: explicit Dialog(QW......

xxdd ⋅ 25分钟前 ⋅ 0

生产环境redis备份与恢复

生产环境redis备份与恢复 Tyrant0532 0人评论 1563人阅读 2018-02-01 20:34:10 redis是一个开源(BSD许可),内存存储的数据结构服务器,可用作数据库,高速缓存和消息队列代理。生产中我们主...

rootliu ⋅ 27分钟前 ⋅ 0

nginx中出现403forbidden错误

nginx “403 Forbidden” 错误 出现这个错误一般是因为以下原因: 网站禁止特定的用户访问所有内容,例:网站屏蔽某个ip访问。 访问禁止目录浏览的目录,例:设置autoindex off后访问目录。 ...

河图再现 ⋅ 27分钟前 ⋅ 0

上海云栖:金融政企行业的CDN最佳实践

摘要: 在刚刚结束的上海云栖大会飞天技术汇分论坛上,阿里云视频云产品架构师罗小飞进行了《阿里云CDN——面向金融政企的CDN最佳实践》主题分享,为上海的嘉宾介绍CDN的解决方案与技术服务体...

猫耳m ⋅ 32分钟前 ⋅ 0

docker 基本操作

docker介绍 Docker项目提供了构建在Linux内核功能之上,协同在一起的的高级工具。其目标是帮助开发和运维人员更容易地跨系统跨主机交付应用程序和他们的依赖。Docker通过Docker容器,一个安全...

haoyuehong ⋅ 33分钟前 ⋅ 0

上海云栖:金融政企行业的CDN最佳实践

摘要: 在刚刚结束的上海云栖大会飞天技术汇分论坛上,阿里云视频云产品架构师罗小飞进行了《阿里云CDN——面向金融政企的CDN最佳实践》主题分享,为上海的嘉宾介绍CDN的解决方案与技术服务体...

阿里云云栖社区 ⋅ 36分钟前 ⋅ 0

安装与配置hadoop

一、CentOS7安装 java8,参考centos7.0 安装java1.8,tomcat 二、安装hadoop 版本V3.03 1、下载并解压hadoop # mkdir /usr/local/app# mkdir /usr/local/app/hadoop# cd /usr/local/app/had......

iturtle ⋅ 37分钟前 ⋅ 0

Idea设置Serializable自动生成

File --> Settings --> Editor --> Inspections ->Serialization issues,在该项下找到“Serializable class without 'serialVersionUID' ”并勾选...

Gmupload ⋅ 40分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部