文档章节

Hadoop集群搭建最佳实践

雪地烟斗
 雪地烟斗
发布于 2016/09/20 16:54
字数 525
阅读 38
收藏 1

摘抄

Bios 调优检查表

  • 检查硬件上所以cpu内核是否得到了充分利用;否则,可以降级cpu频率
  • 启用原生命令排队模式。一般来说,可以通过BIOS中的 advanced host controller interface 选项启用NCQ模式

OS配置建议

  • 选择支持EXT4 文件系统的Linux 分发包
  • 默认情况下,每个读操作都会触发一个写操作。可以通过文件系统上的 noatime 禁用文件和目录的访问时间的日志
  • 避免使用逻辑卷管理(LVM),它是用来管理磁盘驱动器及相似的大容易存储设备的,使用LVM 会影响磁盘的 I/O 性能
  • 降低 Linux内核交换内存的值
  • 尝试使用 I/O 调度器的完全平等排队(CFQ),其 I/O 操作用循环队列方式实现,且每个 I/O 操作都允许有固定的执行时间
  • 提高 Linux 操作系统的最大打开文件描述符,这样可以改善MR 作业性能

Hadoop安装部署

  • 低于4个节点时,可手动安装;在大型集群中部署hadoop时,推荐使用配置管理工具或自动部署工具,如Cloudera,Hortonworks,MapR等。对于部署应用,可以选择使用Yum 和 Puppet

Hadoop调优建议

  1. 内存
  • 调整内存设置避免因内存不足引起的作业挂起 
  • 设置或定义 JVM  复用策略
  •  校验JVM 代码缓存并在必要时增加缓存大小
  • 分析垃圾收集(GC)周期(使用详细的日志),观察是否存在密集周期并检查hadoop 框架堆的利用情况

    2.   I / O 

  • 在输入数据源较大的环境中,对数据源进行压缩
  • 遇到大量溢写任务时,从map 任务减少溢写记录。通过调优 io.sort.mb、io.sort.record.percent、io.sort.spill.percent 来减少溢写记录
  • 压缩 Map 输出,降低 I/O 操作
  • 实现 Combiner 操作 ,在代码中添加 Combiner 
  • 压缩 Reduce 作业输出
  • 调整复制参数值

© 著作权归作者所有

雪地烟斗
粉丝 3
博文 6
码字总数 1975
作品 0
天津
私信 提问
hadoop(05)、使用Eclipse连接远程Hadoop集群

在前面的文中我们分别搭建了单机和集群的Hadoop环境,今天我们将实践使用Eclispe开发工具安装 hadoop的开发插件,并且使用hadoop插件连接Hadoop远程集群,文中有什么不对的地方,请大家指出来...

MaxBill
2017/12/22
421
0
Hadoop数据迁移MaxCompute最佳实践

本文向您详细介绍如何通过使用DataWorks数据同步功能,将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。 1. 环境准备 1.1 Hadoop集群搭建 进行数据迁移前,您需要保证自己的Hadoop集群...

付帅
2018/09/10
0
0
【干货合集】NoSQL技术体系深度解读系列(三):HBase,海量数据存储、超高并发量场景下的NoSQL利器

2018年开年知识盛会——NoSQL数据库直播大讲堂峰会,将于1月19日、23日、25日与大家见面,阿里云Redis、MongoDB、HBase的15位技术专家、产品专家将给大家带来深度的技术及产品分享。本次峰会...

场景研读
2018/01/08
0
0
hadoop(04)、Hadoop 集群模式搭建实践

在《hadoop(01)、windows平台下hadoop环境搭建》一文中,我们在windows平台上搭建了单机模式的hadoop,本文我们将在linux(CentOS7)下搭建hadoop集群模式,以便实践更多场景下hadoop的使用,...

MaxBill
2017/11/26
554
0
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

arduino项目-1. 模拟楼道灯

@toc 1.1 情景说明 说明 漆黑的夜晚,当有人非法进入一所房屋,房屋内的灯在恰当的时间亮起,也许会有效阻止非法活动的继续。 效果展示 1.2 实验器材 器材名称 数量 继电器 1 人体红外感应器...

acktomas
12分钟前
1
0
Nacos 常见问题及解决方法

Nacos 开源至今已有一年,在这一年里,得到了很多用户的支持和反馈。在与社区的交流中,我们发现有一些问题出现的频率比较高,为了能够让用户更快的解决问题,我们总结了这篇常见问题及解决方...

阿里云官方博客
18分钟前
2
0
pinyin4j 满足中文转拼音的需求

引入依赖 // https://mvnrepository.com/artifact/com.belerweb/pinyin4j //汉字转拼音compile group: 'com.belerweb', name: 'pinyin4j', version: '2.5.1' 写入中文转拼英的工具......

edison_kwok
23分钟前
2
0
IPSE接入Substrate/Polkadot插槽实现互操作性的运行原理

Substrate框架将区块链的众多功能都模块化,对于开发者来说,只是一个选择的问题,同时还保持了众多的可以定制的功能和模块,比如底层通信模块,比如账户体系,比如共识机制等都是可以自己定...

IPSE
29分钟前
153
0
linux配置安装phpMyAdmin的步骤记录

1、首先在phpMyAdmin官方网站 http://www.phpmyadmin.net/downloads下载源码包,或者通过脚本之家进行下载://www.jb51.net/codes/405261.html ,下载后上传到服务器解压即可,或者通过Linux...

蜗牛女孩
30分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部