文档章节

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

一念三千
 一念三千
发布于 2017/06/20 17:44
字数 1829
阅读 52
收藏 1
点赞 0
评论 0

1.选取三台服务器(CentOS系统64位)

  114.55.246.88 主节点

  114.55.246.77 从节点

  114.55.246.93 从节点

     之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。

  我是用root用户操作的。

2.修改hosts文件

  修改三台服务器的hosts文件。

  vi /etc/hosts

  在原文件的基础最后面加上:

114.55.246.88 Master
114.55.246.77 Slave1
114.55.246.93 Slave2

  修改完成后保存执行如下命令。

  source /etc/hosts

3.ssh无密码验证配置

  3.1安装和启动ssh协议

  我们需要两个服务:ssh和rsync。

  可以通过下面命令查看是否已经安装:

  rpm -qa|grep openssh

  rpm -qa|grep rsync

  如果没有安装ssh和rsync,可以通过下面命令进行安装:

  yum install ssh (安装ssh协议)

  yum install rsync (rsync是一个远程数据同步工具,可通过LAN/WAN快速同步多台主机间的文件)

  service sshd restart (启动服务)

  3.2 配置Master无密码登录所有Salve

  配置Master节点,以下是在Master节点的配置操作。

  1)在Master节点上生成密码对,在Master节点上执行以下命令:

  ssh-keygen -t rsa -P ''

  生成的密钥对:id_rsa和id_rsa.pub,默认存储在"/root/.ssh"目录下。

  2)接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去。

  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  3)修改ssh配置文件"/etc/ssh/sshd_config"的下列内容,将以下内容的注释去掉:

  RSAAuthentication yes # 启用 RSA 认证

  PubkeyAuthentication yes # 启用公钥私钥配对认证方式

  AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

  4)重启ssh服务,才能使刚才设置有效。

  service sshd restart

  5)验证无密码登录本机是否成功。

  ssh localhost

  6)接下来的就是把公钥复制到所有的Slave机器上。使用下面的命令进行复制公钥:

  scp /root/.ssh/id_rsa.pub root@Slave1:/root/

  scp /root/.ssh/id_rsa.pub root@Slave2:/root/

  

  接着配置Slave节点,以下是在Slave1节点的配置操作。

  1)在"/root/"下创建".ssh"文件夹,如果已经存在就不需要创建了。

  mkdir /root/.ssh

  2)将Master的公钥追加到Slave1的授权文件"authorized_keys"中去。

  cat /root/id_rsa.pub >> /root/.ssh/authorized_keys

  3)修改"/etc/ssh/sshd_config",具体步骤参考前面Master设置的第3步和第4步。

  4)用Master使用ssh无密码登录Slave1

  ssh 114.55.246.77

  5)把"/root/"目录下的"id_rsa.pub"文件删除掉。

  rm –r /root/id_rsa.pub

  重复上面的5个步骤把Slave2服务器进行相同的配置。

  3.3 配置所有Slave无密码登录Master

  以下是在Slave1节点的配置操作。

  1)创建"Slave1"自己的公钥和私钥,并把自己的公钥追加到"authorized_keys"文件中,执行下面命令:

  ssh-keygen -t rsa -P ''

  cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

  2)将Slave1节点的公钥"id_rsa.pub"复制到Master节点的"/root/"目录下。

  scp /root/.ssh/id_rsa.pub root@Master:/root/

  

  以下是在Master节点的配置操作。

  1)将Slave1的公钥追加到Master的授权文件"authorized_keys"中去。

  cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

  2)删除Slave1复制过来的"id_rsa.pub"文件。

  rm –r /root/id_rsa.pub

 

  配置完成后测试从Slave1到Master无密码登录。

  ssh 114.55.246.88

  按照上面的步骤把Slave2和Master之间建立起无密码登录。这样,Master能无密码验证登录每个Slave,每个Slave也能无密码验证登录到Master。

4.安装基础环境(JAVA和SCALA环境)

  4.1 Java1.8环境搭建

  1)下载jdk-8u121-linux-x64.tar.gz解压

  tar -zxvf jdk-8u121-linux-x64.tar.gz

  2)添加Java环境变量,在/etc/profile中添加:

export JAVA_HOME=/usr/local/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/rt.jar
export JAVA_HOME PATH CLASSPATH

  3)保存后刷新配置

  source /etc/profile

  4.2 Scala2.11.8环境搭建

  1)下载scala安装包scala-2.11.8.rpm安装

  rpm -ivh scala-2.11.8.rpm

  2)添加Scala环境变量,在/etc/profile中添加:

export SCALA_HOME=/usr/share/scala
export PATH=$SCALA_HOME/bin:$PATH

  3)保存后刷新配置

  source /etc/profile

5.Hadoop2.7.3完全分布式搭建

  以下是在Master节点操作:

  1)下载二进制包hadoop-2.7.3.tar.gz

  2)解压并移动到相应目录,我习惯将软件放到/opt目录下,命令如下:

  tar -zxvf hadoop-2.7.3.tar.gz

  mv hadoop-2.7.3 /opt

  3)修改相应的配置文件。

  修改/etc/profile,增加如下内容:

export HADOOP_HOME=/opt/hadoop-2.7.3/
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin
 export HADOOP_MAPRED_HOME=$HADOOP_HOME
 export HADOOP_COMMON_HOME=$HADOOP_HOME
 export HADOOP_HDFS_HOME=$HADOOP_HOME
 export YARN_HOME=$HADOOP_HOME
 export HADOOP_ROOT_LOGGER=INFO,console
 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

 

  修改完成后执行:

  source /etc/profile

 修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh,修改JAVA_HOME 如下:

export JAVA_HOME=/usr/local/jdk1.8.0_121

  

 修改$HADOOP_HOME/etc/hadoop/slaves,将原来的localhost删除,改成如下内容:

Slave1
Slave2

  

  修改$HADOOP_HOME/etc/hadoop/core-site.xml

<configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://Master:9000</value>
      </property>
      <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
     </property>
     <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/hadoop-2.7.3/tmp</value>
     </property>
</configuration>

  

  修改$HADOOP_HOME/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>Master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop-2.7.3/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/opt/hadoop-2.7.3/hdfs/data</value>
    </property>
</configuration>

  复制template,生成xml,命令如下:

  cp mapred-site.xml.template mapred-site.xml

  修改$HADOOP_HOME/etc/hadoop/mapred-site.xml

<configuration>
 <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>Master:19888</value>
  </property>
</configuration>

 

  修改$HADOOP_HOME/etc/hadoop/yarn-site.xml

<configuration>
     <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
     </property>
     <property>
         <name>yarn.resourcemanager.address</name>
         <value>Master:8032</value>
     </property>
     <property>
         <name>yarn.resourcemanager.scheduler.address</name>
         <value>Master:8030</value>
     </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>Master:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>Master:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>Master:8088</value>
     </property>
</configuration>

 

  4)复制Master节点的hadoop文件夹到Slave1和Slave2上。

  scp -r /opt/hadoop-2.7.3 root@Slave1:/opt

  scp -r /opt/hadoop-2.7.3 root@Slave2:/opt

 

  5)在Slave1和Slave2上分别修改/etc/profile,过程同Master一样。

  6)在Master节点启动集群,启动之前格式化一下namenode:

  hadoop namenode -format

  启动:

  /opt/hadoop-2.7.3/sbin/start-all.sh

  至此hadoop的完全分布式环境搭建完毕。

  

  7)查看集群是否启动成功:

  jps

  Master显示:

  SecondaryNameNode

  ResourceManager

  NameNode

  

  Slave显示:

  NodeManager

  DataNode

6.Spark2.1.0完全分布式环境搭建

  以下操作都在Master节点进行。

  1)下载二进制包spark-2.1.0-bin-hadoop2.7.tgz

  2)解压并移动到相应目录,命令如下:

  tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

  mv hadoop-2.7.3 /opt

  3)修改相应的配置文件。

  修改/etc/profie,增加如下内容:

export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7/
export PATH=$PATH:$SPARK_HOME/bin

  

  复制spark-env.sh.template成spark-env.sh

  cp spark-env.sh.template spark-env.sh

  修改$SPARK_HOME/conf/spark-env.sh,添加如下内容:

export JAVA_HOME=/usr/local/jdk1.8.0_121
export SCALA_HOME=/usr/share/scala
export HADOOP_HOME=/opt/hadoop-2.7.3
export HADOOP_CONF_DIR=/opt/hadoop-2.7.3/etc/hadoop
export SPARK_MASTER_IP=114.55.246.88
export SPARK_MASTER_HOST=114.55.246.88
export SPARK_LOCAL_IP=114.55.246.88
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=2
export SPARK_HOME=/opt/spark-2.1.0-bin-hadoop2.7
export SPARK_DIST_CLASSPATH=$(/opt/hadoop-2.7.3/bin/hadoop classpath)

 

  复制slaves.template成slaves

  cp slaves.template slaves

  修改$SPARK_HOME/conf/slaves,添加如下内容:

Master
Slave1
Slave2

  4)将配置好的spark文件复制到Slave1和Slave2节点。

  scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave1:/opt

      scp /opt/spark-2.1.0-bin-hadoop2.7 root@Slave2:/opt

  5)修改Slave1和Slave2配置。

  在Slave1和Slave2上分别修改/etc/profile,增加Spark的配置,过程同Master一样。

  在Slave1和Slave2修改$SPARK_HOME/conf/spark-env.sh,将export SPARK_LOCAL_IP=114.55.246.88改成Slave1和Slave2对应节点的IP。

  6)在Master节点启动集群。

  /opt/spark-2.1.0-bin-hadoop2.7/sbin/start-all.sh

  7)查看集群是否启动成功:

  jps

  Master在Hadoop的基础上新增了:

  Master

  

  Slave在Hadoop的基础上新增了:

  Worker

本文转载自:http://www.cnblogs.com/zengxiaoliang/p/6478859.html

共有 人打赏支持
一念三千

一念三千

粉丝 11
博文 63
码字总数 34826
作品 0
浦东
高级程序员
基于CentOS的Hadoop和Spark分布式集群搭建过程

1. 软件版本,IP地址,修改主机名和hosts文件 (1)软件版本:CentOS 7.0;JDK 8u141;Hadoop 2.7.3;Scala 2.11.8;Spark 2.2.0。 (2)IP地址:192.168.106.128(主节点);192.168.106.1...

shengshengwang
2017/07/23
0
0
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

1.选取三台服务器(CentOS系统64位)   114.55.246.88 主节点   114.55.246.77 从节点   114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些...

舞艺超炫
2017/08/17
0
0
'近义词'小项目 spark word2vec

需求:spark word2vec计算同义词 要求:搭建spark完全分布式集群(3台以上),给定输入数据,计算同义词,验收标准:输入多个文本(txt) 能正常运算 ,最后输入一个词 可以输出同义词(按相...

小默
05/31
0
0
hbase分布式集群搭建

hbase和hadoop一样也分为单机版、伪分布式版和完全分布式集群版本,这篇文件介绍如何搭建完全分布式集群环境搭建。 hbase依赖于hadoop环境,搭建habase之前首先需要搭建好hadoop的完全集群环...

纯洁的虫纸
2017/08/11
0
0
Zookeeper完全分布式集群的搭建

Zookeeper完全分布式集群的搭建 一、集群模式 1、单机模式 在zoo.cfg中只配置一个server.id就是单机模式了。 这种模式下,如果当前主机宕机,那么所有依赖于当前zookeeper服务工作的其他服务...

星汉
04/27
0
0
服务器(4)--搭建Solr集群+搭建Zookeeper集群(上篇)

背景:上一篇文章重点介绍了一下单机版的Solr搭建过程以及中文分析器的配置,这篇文章则重点介绍一下Solr集群的搭建步骤,以及Zookeeper集群的搭建步骤。由于搭建过程比较繁琐,所以分为两篇...

u013043341
2017/05/31
0
0
大数据教程(一)—— Hadoop集群坏境搭建配置

前言 关于时下最热的技术潮流,无疑大数据是首当其中最热的一个技术点,关于大数据的概念和方法论铺天盖地的到处宣扬,但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到...

biubiubiu!
2017/05/02
0
0
hadoop本地(独立)模式-安装

本人博客开始迁移,博客整个架构自己搭建及编码http://www.cookqq.com/listBlog.action 本地(独立)模式 Hadoop的默认配置即为本地模式,此时Hadoop使用本地文件系统而非分布式文件系统,而且...

cookqq
2013/04/11
0
0
#hadoop#单机(伪分布)安装及测试

tips:这个部署完全在以root用户操作,系统为ubuntu14.04,使用了Oracle JDK7_u55替换原来的OpenJDK 安装过程: 安装Java: 从自己的宿主机ftp服务器下载包: cd /usr/lib/jvmwget ftp://19...

Hochikong
2014/09/08
0
0
Hadoop2.7.4+Spark2.2.0滴滴云分布式集群搭建过程

1.在滴滴云申请三台服务器(CentOS系统64位7.3) 2.修改hosts文件 修改三台服务器的hosts文件,vim /etc/hosts(需要权限加上sudo vim /etc/hosts),在原文件的基础最后面加上: 修改完成后保存...

14142135623731
06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SpringBoot | 第十章:Swagger2的集成和使用

前言 前一章节介绍了mybatisPlus的集成和简单使用,本章节开始接着上一章节的用户表,进行Swagger2的集成。现在都奉行前后端分离开发和微服务大行其道,分微服务及前后端分离后,前后端开发的...

oKong
今天
9
0
Python 最小二乘法 拟合 二次曲线

Python 二次拟合 随机生成数据,并且加上噪声干扰 构造需要拟合的函数形式,使用最小二乘法进行拟合 输出拟合后的参数 将拟合后的函数与原始数据绘图后进行对比 import numpy as npimport...

阿豪boy
今天
4
0
云拿 无人便利店

附近(上海市-航南路)开了家无人便利店.特意进去体验了一下.下面把自己看到的跟大家分享下. 经得现场工作人员同意后拍了几张照片.从外面看是这样.店门口的指导里强调:不要一次扫码多个人进入....

周翔
昨天
1
0
Java设计模式学习之工厂模式

在Java(或者叫做面向对象语言)的世界中,工厂模式被广泛应用于项目中,也许你并没有听说过,不过也许你已经在使用了。 简单来说,工厂模式的出现源于增加程序序的可扩展性,降低耦合度。之...

路小磊
昨天
177
1
npm profile 新功能介绍

转载地址 npm profile 新功能介绍 npm新版本新推来一个功能,npm profile,这个可以更改自己简介信息的命令,以后可以不用去登录网站来修改自己的简介了 具体的这个功能的支持大概是在6这个版...

durban
昨天
1
0
Serial2Ethernet Bi-redirection

Serial Tool Serial Tool is a utility for developing serial communications, custom protocols or device testing. You can set up bytes to send accordingly to your protocol and save......

zungyiu
昨天
1
0
python里求解物理学上的双弹簧质能系统

物理的模型如下: 在这个系统里有两个物体,它们的质量分别是m1和m2,被两个弹簧连接在一起,伸缩系统为k1和k2,左端固定。假定没有外力时,两个弹簧的长度为L1和L2。 由于两物体有重力,那么...

wangxuwei
昨天
0
0
apolloxlua 介绍

##项目介绍 apolloxlua 目前支持javascript到lua的翻译。可以在openresty和luajit里使用。这个工具分为两种模式, 一种是web模式,可以通过网页使用。另外一种是tool模式, 通常作为大规模翻...

钟元OSS
昨天
2
0
Mybatis入门

简介: 定义:Mybatis是一个支持普通SQL查询、存储过程和高级映射的持久层框架。 途径:MyBatis通过XML文件或者注解的形式配置映射,实现数据库查询。 特性:动态SQL语句。 文件结构:Mybat...

霍淇滨
昨天
2
0
开发技术瓶颈期,如何突破

前言 读书、学习的那些事情,以前我也陆续叨叨了不少,但总觉得 “学习方法” 就是一个永远在路上的话题。个人的能力、经验积累与习惯方法不尽相同,而且一篇文章甚至一本书都很难将学习方法...

_小迷糊
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部