文档章节

7.Spark之集群搭建2

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 17:06
字数 1124
阅读 51
收藏 0

4.安装Hadoop

    在所有服务器上执行以下操作,完成Scala的安装。

  1. 关闭所有服务器的防火墙,防止出现端口无法连接的情况

    命令:service iptables status,查询防火墙运行状态。

    命令:service iptables stop,停止运行防火墙。

  2. 配置服务器之间SSH无密码登录

    命令:ssh-keygen -t rsa,在~/.ssh目录下生成服务器的公钥(id_rsa.pub)和私钥(id_rsa)。

    在所有服务器中执行以上命令,生成各自的公钥和私钥。

    在其中一台服务器上,执行以下命令,我选择在master服务器上执行:

            cat id_rsa.pub >> authorized_keys //将公钥内容增加到authorized_keys文件中

            scp authorized_keys root@worker1:/root/.ssh //将authorized_keys文件传输给worker1

    worker1服务器上执行以下命令:

            cat id_rsa.pub >> authorized_keys //将公钥内容增加到authorized_keys文件中

            scp authorized_keys root@worker2:/root/.ssh //将authorized_keys文件传输给worker2

    worker2服务器上执行以下命令:

            cat id_rsa.pub >> authorized_keys //将公钥内容增加到authorized_keys文件中

            scp authorized_keys root@worker1:/root/.ssh //将authorized_keys文件传输给worker1

            scp authorized_keys root@master :/root/.ssh //将authorized_keys文件传输给master

    依照上面这样,最终所有服务器上都包含authorized_keys文件,里面保存着所有服务器的公钥。

    在master、worker1、worker2服务器上执行以下命令,直到不需要输入密码为止:

            ssh master

            ssh master主机ip

            ssh worker1

            ssh worker1主机ip

            ssh worker2

            ssh worker2主机ip

    ssh登录其它服务器后,需要通过exit命令退出,回到原来服务器。

  3. 上传已下载好的hadoop-2.6.0.tar.gz,并解压

    命令:mkdir -p /usr/local/hadoop,在/usr/local目录下创建hadoop目录。

    上传hadoop-2.6.0.tar.gz至/usr/local/hadoop目录下。

    命令:tar -zxvf hadoop-2.6.0.tar.gz,解压安装包得到hadoop-2.6.0

  4. 配置环境变量HADOOP_HOME、PATH等

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

            export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

            export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

            export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

            export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  5. 配置${HADOOP_HOME}/etc/hadoop目录下的配置文件

    core-site.xml的配置内容如下:

    hdfs-site.xml的配置内容如下:

    mapred-site.xml的配置内容如下:

    yarn-site.xml的配置内容如下:

    hadoop-env.sh的配置内容中只要修改JAVA_HOME即可:

    yarn-env.sh的配置内容中只要修改JAVA_HOME和HADOOP_OPTS即可:


    slaves的配置内容为所有集群服务器的datanode节点的主机名:


  6. 以上内容在所有服务器中配置完毕后,Hadoop集群基本配置完毕。使用之前,需要格式化namenode

    命令:hadoop namenode -format

  7. 格式化成功后,就可以启动Hadoop集群了。在${HADOOP_HOME}/sbin目录下执行以下命令:

    命令:./start-dfs.sh,启动Hadoop集群。

    命令:jps,查看正在运行的java进程。

    在所有服务器中通过jps命令查看Hadoop集群启动后,各个进程是否正常启动。我的环境运行情况如下:

    master服务器作为NameNode节点、SecondaryNameNode节点、DataNode节点,进程如图

    worker1和worker2服务器作为DataNode节点,进程如图

    访问http://master:50070/或者将master(主机名)换成ip也可以,查看hadoop集群概况


  8. 启动Hadoop集群后,就可以启动yarn了,它负责集群各个节点的资源管理。${HADOOP_HOME}/sbin目录下执行以下命令:

        命令:./start-yarn.sh,启动yarn资源管理。

       命令:jps,查看正在运行的java进程。

       在所有服务器中通过jps命令查看yarn启动后,各个进程是否正常启动。我的环境运行情况如下:

       master作为NameNode和DataNode需要再启动ResourceManager和NodeManager

        

        worker1和worker2作为DataNode只需要再启动NodeManager

        

        访问http://master:8088/或者将master(主机名)换成ip也可以,查看hadoop集群的资源管理信息

        

© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 2
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战...

牦牛sheriff
09/02
0
0
Spark入门实战系列--7.Spark Streaming(上)

1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter...

莫问viva
2016/01/29
72
0
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
(14)Spark 2.0.0 集群部署

1.引言 在前面的博客中介绍了Spark的伪分布安装,在本篇博客中将介绍一下Spark的集群部署,在本博客中Spark的调度采用Hadoop的Yarn平台,因此在安装Spark之前,需要先部署的集群,因为我在安...

LoveCarpenter
2017/12/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

现场看路演了!

HiBlock
20分钟前
0
0
Rabbit MQ基本概念介绍

RabbitMQ介绍 • RabbitMQ是一个消息中间件,是一个很好用的消息队列框架。 • ConnectionFactory、Connection、Channel都是RabbitMQ对外提供的API中最基本的对象。Connection是RabbitMQ的s...

寰宇01
37分钟前
1
0
官方精简版Windows10:微软自己都看不过去了

微软宣布,该公司正在寻求解决方案,以减轻企业客户的Windows 10规模。该公司声称,企业客户下载整个Windows 10文件以更新设备既费钱又费时。 微软宣布,该公司正在寻求解决方案,以减轻企业...

linux-tao
42分钟前
0
0
TypeScript基础入门之JSX(二)

转发 TypeScript基础入门之JSX(二) 属性类型检查 键入检查属性的第一步是确定元素属性类型。 内在元素和基于价值的元素之间略有不同。 对于内部元素,它是JSX.IntrinsicElements上的属性类型...

durban
今天
1
0
AVA中CAS-ABA的问题解决方案AtomicStampedReference

了解CAS(Compare-And-Swap) CAS即对比交换,它在保证数据原子性的前提下尽可能的减少了锁的使用,很多编程语言或者系统实现上都大量的使用了CAS。 JAVA中CAS的实现 JAVA中的cas主要使用的是...

码代码的小司机
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部