文档章节

MapReduce集群模式调整配置与shell脚本处理

d
 double大宝
发布于 2017/04/21 22:07
字数 315
阅读 24
收藏 0

修改 Ubuntu 启动为文本启动模式,减少系统资源的占用。

    sudo nano /etc/default/grub
        注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet"
        改GRUB_CMDLINE_LINUX=”text”
        去掉 #GRUB_TERMINAL=console 的注释
    sudo update-grub
    sudo systemctl set-default multi-user.target


写shell,批量修改服务器以文本模式启动

cd /Downloads
touch bat.sh
chmod a+x bat.sh
nano bat.sh

#!/bin/bash
for((i=2;i<5;i++))
{
	scp /etc/default/grub root@s$i:/etc/default/
	ssh -t s$i sudo update-grub
	ssh -t s$i sudo systemctl set-default multi-user.target
}

找出所有默认的配置文件:

    hadoop-2.8.0\share\hadoop\common\hadoop-common-2.8.0.jar\core-default.xml
    hadoop-2.8.0\share\hadoop\hdfs\hadoop-hdfs-2.8.0.jar\hdfs-default.xml
    hadoop-2.8.0\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.8.0.jar\mapred-default.xml
    hadoop-2.8.0\share\hadoop\yarn\hadoop-yarn-common-2.8.0.jar\yarn-default.xml

修改副本数和块大小
    hdfs-site.xml

        <property>
          <name>dfs.replication</name>
          <value>2</value>
          <description>Default block replication. 
          The actual number of replications can be specified when the file is created.
          The default is used if replication is not specified in create time.
          </description>
        </property>
        
        <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>s4:50090</value>
        </property>
        
        <property>
          <name>dfs.blocksize</name>
          <value>20k</value>
        </property>

编写Shell脚本,发送xml文件到所有服务器    

    #!/bin/bash
    for((i=2;i<5;i++))
    {
        scp $HADOOP_INSTALL/etc/hadoop/hdfs-site.xml ubuntu@s$i:$HADOOP_INSTALL/etc/hadoop/
    }

停掉集群:
    stop-all.sh
删除hadoop临时目录:
    #!/bin/bash
    for((i=2;i<5;i++))
    {
        ssh s$i rm -fR /tmp/hadoop-ubuntu
    }
重启集群:
    删除所有节点的临时文件/tmp/hadoop-ubuntu
    hadoop namenode -format
    start-dfs.sh
    start-yarn.sh

 

 

 

© 著作权归作者所有

d
粉丝 2
博文 86
码字总数 43479
作品 0
贵港
私信 提问
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
【hadoop】4.伪分布式模式

简介 前面我们讲到了hadoop拥有3种运行模式,搭建了最简答的本地运行模式并在其上运行了两个简单案例。本章节我们学习伪分布模式。顾名思义,该模式外在看起来像是分布式,实际上只有一个节点...

落花时节又逢卿
01/03
5
0
[Hadoop]Hadoop YARN的发展史与详细解析

带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。H...

sjf0115
2016/11/08
0
0
Hadoop YARN的发展史与详细解析

带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架,Hadoop 在大数据处理的全新领域迎来了爆炸式增长。H...

莫问viva
2014/10/09
108
0
什么是 Hadoop 生态系统

https://www.facebook.com/hadoopers 在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Da...

oschina
2015/07/30
11.1K
10

没有更多内容

加载失败,请刷新页面

加载更多

DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
50分钟前
3
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
今天
4
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
今天
6
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
今天
5
0
Python机器学习之数据探索可视化库yellowbrick

背景介绍 从学sklearn时,除了算法的坎要过,还得学习matplotlib可视化,对我的实践应用而言,可视化更重要一些,然而matplotlib的易用性和美观性确实不敢恭维。陆续使用过plotly、seaborn,...

yeayee
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部