文档章节

在linux下使用shell脚本自动化完成hadoop集群搭建

静下来想想静静
 静下来想想静静
发布于 2017/03/08 18:27
字数 383
阅读 81
收藏 0

学习hadoop时,发现如果在linux下搭建集群,一个一个的去配置,会感觉很累。所以写了一个自动话搭建集群的shell脚本 我使用的文件: jdk-7u75-linux-x64.gz; hadoop.tar.gz; 以及一个解压hadoop后,需要配置的文件的tar包 1.tar

实现思路: 首先只配置主节点的环境变量和域名映射(/etc/profile和/etc/hosts) 然后看下面shell脚本:

#!/bin/bash                
tar -zxvf /root/jdk-7u75-linux-x64.gz;             #解压jdk-7u75-linux-x64.gz
tar -zxvf /root/hadoop.tar.gz;                        #解压 hadoop.tar.gz
mv /root/hadoop-2.6.4/ /root/hadoop/;           #改名hadoop-2.6.4
mv /root/jdk1.7.0_75/ /root/jdk/;                    ##改名jdk1.7.0_75
tar -xvf /root/1.tar;                                        #解压1.tar
cd /root/1;                                                    
mv -f * /root/hadoop/etc/hadoop/;                #移动到1目录 将里面所有文件一动道/hadoop/etc/hadoop下

写完之后,写自动化脚本,实现功能:自动配置ssh免密码登陆,自动复制上面三个文件和主节点的配置文件以及上面写的shell脚本到不同的节点上,在各个节点运行上面的shell脚本。代码如下:

#!/bin/bash
SERVERS="mini0 mini1 mini2"                #改成你自己写的主机映射名
give_key(){
	
	expect <<!
	spawn ssh-copy-id $1
	expect "*yes/no*" {send "yes\r";exp_continue}
	expect "*password*" {send "root123\r";exp_continue}
!
}

for server in $SERVERS
do
	give_key $server
	scp /root/1.tar root@$server:/root/
	scp /root/hadoop.tar.gz root@$server:/root/
	scp /root/jdk-7u75-linux-x64.gz root@$server:/root/
	scp /etc/profile root@$server:/etc/profile
	scp /root/peizhi.sh root@$server:/root/
	scp /etc/hosts root@server:/etc/hosts
	ssh root@$server sh /root/peizhi.sh
done

完成 谢谢观看

© 著作权归作者所有

静下来想想静静
粉丝 2
博文 14
码字总数 12348
作品 0
焦作
私信 提问
分析几种Hadoop集群部署方式优劣

对hadoop初学者来说,或者说正在使用hadoop的开发者来说,hadoop环境的搭建不是一件省心的事,甚至很多博客上都重要的事说三便“不要花精力在搭建环境之上”,可见很多人在搭建环境时会遇到很...

cpaqyx
2017/06/25
0
0
linux学习路线和运维成长之路

最近看到了一篇新闻,linux之父建议找一份基于linux和开源环境的工作,确实,这已经是未来的大趋势了。今天就来聊一聊我的想法,本人8年linux运维一线经验,呆过很多互联网公司,从一线运维做...

神的信仰
2016/05/17
11
0
【hadoop】5.完全分布式模式

简介 前面我们讲到了hadoop拥有3种运行模式,搭建了最简答的本地运行模式并在其上运行了两个简单案例,之后搭建了伪分布模式,并在其上运行了wordcount案例。本章节我们学习完全分布式的模式...

落花时节又逢卿
01/03
3
0
基于Docker快速搭建多节点Hadoop集群

一. 项目简介 GitHub: kiwanlau/hadoop-cluster-docker 博客:基于Docker快速搭建多节点Hadoop集群 直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说。他们还没开始跑wordc...

颓废的幻想者
2016/03/30
167
1
大数据自动化安装部署方案(一)——集群系统环境设置

1.前期准备 1.1系统和yum源镜像准备 需要的条件: ① 至少三台刚装上Centos7.0系统的物理机或者虚拟机; ② CentOS-7.0-x86_64-bin-DVD1.iso镜像,用于制作本地yum源; 注意:本文三台物理机...

牧梦者
2018/07/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二)

SpringBoot中 集成 redisTemplate 对 Redis 的操作(二) List 类型的操作 1、 向列表左侧添加数据 Long leftPush = redisTemplate.opsForList().leftPush("name", name); 2、 向列表右......

TcWong
今天
4
0
排序––快速排序(二)

根据排序––快速排序(一)的描述,现准备写一个快速排序的主体框架: 1、首先需要设置一个枢轴元素即setPivot(int i); 2、然后需要与枢轴元素进行比较即int comparePivot(int j); 3、最后...

FAT_mt
昨天
4
0
mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
昨天
10
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
昨天
8
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部