文档章节

脚本自动配置hadoop集群的ssh无密码登录

aibati2008
 aibati2008
发布于 2016/02/24 15:04
字数 388
阅读 216
收藏 2

最近公司新搭建hadoop集群,配置了几台机器之后觉得很麻烦,尤其是ssh无密码登录,每个节点都要配置一遍,于是写了个脚本自动配置,以后集群要添加节点也很方便。

网上很多文章都是在root直接配置的,因为我是用单独的hadoop用户,所以是在该用户下执行操作。

#!/bin/bash

export SLAVES="slave1 slave2"
export USER='hadoop'

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa                   #生成本机密钥对,一般在登录用户的.ssh目录下

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys            #把公钥追加到授权的key里面去,此时已经可以ssh本机了,可用ssh localhost测试

chmod 600 ~/.ssh/authorized_keys                           #修改文件"authorized_keys"权限,不安全的设置安全设置,会让你不能使用RSA功能
                                                           #在验证时,扔提示你输入密码,经常都是这里出问题
echo $SLAVES | tr " " "\n"| while read LINE                
do
	ssh-copy-id -i ~/.ssh/id_rsa.pub $USER@$LINE       # 把公钥分发到集群其他节点,$SLAVES为节点主机名列表
	echo "Copying keygen  to $LINE"
done

执行之后,无密码登录设置成功。已经可以从主节点无密码登录到其他节点了。

注意1:以上仅配置了主节点无密码登录到其他节点,如果要配置其他节点到主节点的ssh,可自行修改在相应节点执行即可。

注意2:各节点配置ssh的用户必须一致,不然会出问题。

© 著作权归作者所有

aibati2008
粉丝 14
博文 87
码字总数 61726
作品 0
成都
技术主管
私信 提问
hadoop 2.8.3 集群环境搭建

hadoop 2.8.3集群环境搭建 Linux : CentOS 7 hadoop版本: hadoop-2.8.3 JDK: 1.8.0_161 这里打算直接root用户,搭建3个节点的hadoop集群环境。先关闭防火墙,安装成功后,启动哪里报错再针...

huangliuyu00
2018/04/22
0
0
linux Hadoop 探索-hadoop单机模式

groupadd hadoopuseradd -mg hadoop hadoop -m指的是在/home/目录下新建一个与用户名相同的文件夹 -g指的是添加用户组 passwd hadoop 回车后将密码设置成123456 ps:密码限于开发调试,生产环...

charles_shang
2016/03/01
43
0
为什么cloudera安装hadoop不需要免密登录了

大多数安装过hadoop的人应该都配置过ssh免密登录,为啥需要免密登录,主要是因为 start-all.sh 这样的启动脚本,这个脚本会ssh登录到其他服务器上并执行hadoop-daemon.sh start namenode had...

专业写BUG的程序员
2017/11/22
737
0
世界杯项目案例:HDFS分布式文件系统

项目案例:HDFS分布式文件系统 Hadoop的简介: Hadoop是apache软件基金会的开源分布式计算平台hadoop集群包括两种角色Mater和Slave。一个HDFS集群由一个运行于Master上的NameNode和若干个运行...

我不是九爷
2018/06/21
0
0
Hadoop2.6.1集群部署之自动切换HA

1. 引言 在上篇博客中介绍了Haddop的手动切换NameNode,这在生产环境中还是不尽人意,因为工作人员可能并不会及时的知道NameNode什么时候宕机?因此在生产环境中实现NameNode的动态切换是十分...

Liri
2017/12/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

3_数组

3_数组

行者终成事
50分钟前
7
0
经典系统设计面试题解析:如何设计TinyURL(二)

原文链接:https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注:本文以一道经典的系统设计面试题:《如何设计TinyURL》的参考答案和解析为例,帮助...

APEMESH
今天
7
0
使用logstash同步MySQL数据到ES

概述   在生成业务常有将MySQL数据同步到ES的需求,如果需要很高的定制化,往往需要开发同步程序用于处理数据。但没有特殊业务需求,官方提供的logstash就很有优势了。   在使用logstas...

zxiaofan666
今天
10
0
X-MSG-IM-分布式信令跟踪能力

经过一周多的鏖战, X-MSG-IM的分布式信令跟踪能力已基本具备, 特点是: 实时. 只有要RX/TX就会实时产生信令跟踪事件, 先入kafka, 再入influxdb待查. 同时提供实时sub/pub接口. 完备. 可以完整...

dev5
今天
7
0
OpenJDK之CyclicBarrier

OpenJDK8,本人看的是openJDK。以前就看过,只是经常忘记,所以记录下 图1 CyclicBarrier是Doug Lea在JDK1.5中引入的,作用就不详细描述了,主要有如下俩个方法使用: await()方法,如果当前线...

克虏伯
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部