文档章节

7.Spark之集群搭建2

鞋底留个洞
 鞋底留个洞
发布于 2016/01/27 17:06
字数 1124
阅读 51
收藏 0

4.安装Hadoop

    在所有服务器上执行以下操作,完成Scala的安装。

  1. 关闭所有服务器的防火墙,防止出现端口无法连接的情况

    命令:service iptables status,查询防火墙运行状态。

    命令:service iptables stop,停止运行防火墙。

  2. 配置服务器之间SSH无密码登录

    命令:ssh-keygen -t rsa,在~/.ssh目录下生成服务器的公钥(id_rsa.pub)和私钥(id_rsa)。

    在所有服务器中执行以上命令,生成各自的公钥和私钥。

    在其中一台服务器上,执行以下命令,我选择在master服务器上执行:

            cat id_rsa.pub >> authorized_keys //将公钥内容增加到authorized_keys文件中

            scp authorized_keys root@worker1:/root/.ssh //将authorized_keys文件传输给worker1

    worker1服务器上执行以下命令:

            cat id_rsa.pub >> authorized_keys //将公钥内容增加到authorized_keys文件中

            scp authorized_keys root@worker2:/root/.ssh //将authorized_keys文件传输给worker2

    worker2服务器上执行以下命令:

            cat id_rsa.pub >> authorized_keys //将公钥内容增加到authorized_keys文件中

            scp authorized_keys root@worker1:/root/.ssh //将authorized_keys文件传输给worker1

            scp authorized_keys root@master :/root/.ssh //将authorized_keys文件传输给master

    依照上面这样,最终所有服务器上都包含authorized_keys文件,里面保存着所有服务器的公钥。

    在master、worker1、worker2服务器上执行以下命令,直到不需要输入密码为止:

            ssh master

            ssh master主机ip

            ssh worker1

            ssh worker1主机ip

            ssh worker2

            ssh worker2主机ip

    ssh登录其它服务器后,需要通过exit命令退出,回到原来服务器。

  3. 上传已下载好的hadoop-2.6.0.tar.gz,并解压

    命令:mkdir -p /usr/local/hadoop,在/usr/local目录下创建hadoop目录。

    上传hadoop-2.6.0.tar.gz至/usr/local/hadoop目录下。

    命令:tar -zxvf hadoop-2.6.0.tar.gz,解压安装包得到hadoop-2.6.0

  4. 配置环境变量HADOOP_HOME、PATH等

    命令:vi /etc/profile或者vi ~/.bashrc,/etc/profile对所有用户都生效,~/.bashrc只对当前用户生效。

    通过键入字母i或者a进入vi的插入模式,可以对以上文件进行编辑。按照下面配置环境变量:

            export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0

            export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

            export JAVA_LIBRARY_PATH=/path/to/hadoop-native-libs

            export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

            export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"

            export PATH=${PATH}:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

    键入Esc,输入:wq,回车保存退出(或者键入Esc后,按住Shift + 两次z),环境变量配置完毕。

  5. 配置${HADOOP_HOME}/etc/hadoop目录下的配置文件

    core-site.xml的配置内容如下:

    hdfs-site.xml的配置内容如下:

    mapred-site.xml的配置内容如下:

    yarn-site.xml的配置内容如下:

    hadoop-env.sh的配置内容中只要修改JAVA_HOME即可:

    yarn-env.sh的配置内容中只要修改JAVA_HOME和HADOOP_OPTS即可:


    slaves的配置内容为所有集群服务器的datanode节点的主机名:


  6. 以上内容在所有服务器中配置完毕后,Hadoop集群基本配置完毕。使用之前,需要格式化namenode

    命令:hadoop namenode -format

  7. 格式化成功后,就可以启动Hadoop集群了。在${HADOOP_HOME}/sbin目录下执行以下命令:

    命令:./start-dfs.sh,启动Hadoop集群。

    命令:jps,查看正在运行的java进程。

    在所有服务器中通过jps命令查看Hadoop集群启动后,各个进程是否正常启动。我的环境运行情况如下:

    master服务器作为NameNode节点、SecondaryNameNode节点、DataNode节点,进程如图

    worker1和worker2服务器作为DataNode节点,进程如图

    访问http://master:50070/或者将master(主机名)换成ip也可以,查看hadoop集群概况


  8. 启动Hadoop集群后,就可以启动yarn了,它负责集群各个节点的资源管理。${HADOOP_HOME}/sbin目录下执行以下命令:

        命令:./start-yarn.sh,启动yarn资源管理。

       命令:jps,查看正在运行的java进程。

       在所有服务器中通过jps命令查看yarn启动后,各个进程是否正常启动。我的环境运行情况如下:

       master作为NameNode和DataNode需要再启动ResourceManager和NodeManager

        

        worker1和worker2作为DataNode只需要再启动NodeManager

        

        访问http://master:8088/或者将master(主机名)换成ip也可以,查看hadoop集群的资源管理信息

        

© 著作权归作者所有

共有 人打赏支持
鞋底留个洞
粉丝 3
博文 28
码字总数 28568
作品 0
朝阳
高级程序员
私信 提问
Spark Streaming实时流处理学习

目录 1.初识实时流处理 2.分布式日志收集框架Flume 3.分布式发布订阅消息系统Kafka 4.实战环境搭建 5.Spark Streaming入门 6.Spark Streaming核心概念与编程 7.Spark Streaming进阶与案例实战...

牦牛sheriff
2018/09/02
0
0
Spark入门实战系列--7.Spark Streaming(上)

1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter...

莫问viva
2016/01/29
72
0
(13)HBase 1.2.6 集群部署

1.引言 在前面的博客中我们介绍的伪分布安装,在本篇博客中就主要介绍一下的集群部署,由于是一款之上的数据库,因此我们在安装之前需要首先部署的集群,其次需要使用进行管理,因此我们也需...

LoveCarpenter
2017/12/15
0
0
ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点...

风间影月
2016/05/02
0
0
学习东西总结:

一.JAVA 基础 1、JAVA并发编程 2.JAVA NIO系列 3.JVM深入了解 4.JAVA性能优化相关研究 5.JAVA7,8新特性 二、数据库 1.数据库优化研究 2.MYSQL高可用性研究 3.MYSQL源码研究 三、网络 1.HTTP...

QH_C
2016/03/25
5
0

没有更多内容

加载失败,请刷新页面

加载更多

Mac 10.14 编译Android 8.1源码及刷入nexus 6p

环境准备 官网 描述得已经相当清楚了 ,这里稍微总结一下: 创建区分大小写的磁盘映像 mac系统默认是不区分大小写的,所以我们需要创建一个区分大小写的文件系统 hdiutil create -type SPARS...

猴亮屏
20分钟前
1
0
js获取url参数

function GetQueryString(name) { var reg = new RegExp("(^|&)"+ name +"=([^&]*)(&|$)"); var url =decodeURI(decodeURI(window.location.search)); var r = url.substr(1).match(reg);//s......

ArlenXu
27分钟前
1
0
(转)Spring MVC的常用注解

@Controller(常用) 注解一个类表示控制器,Spring MVC会自动扫描标注了这个注解的类。 @RequestMapping(常用) 请求路径映射,可以标注类,也可以是方法,可以指定请求类型,默认不指定为...

政旭Arvin
33分钟前
0
0
Navicat使用教程:在Navicat Monitor for MySQL/MariaDB中配置实例

下载Navicat Monitor最新版本 Navicat Monitor 是一套安全、简单而且无代理的远程服务器监控工具。它具有强大的功能使你的监控发挥最大效用。受监控的服务器包括 MySQL、MariaDB 和 Percona ...

电池盒
36分钟前
0
0
sql根据日期查询,本周,本月,本年,今日相关统计

sql根据日期查询,本周,本月,本年,今日相关统计 昨天 select * from tb where datediff(day, 时间字段 ,getdate()) = 1 今天 select * from tb where datediff(day, 时间字段 ,getdate()) = ...

BraveLN
46分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部