十八掌教育_徐培成_Hadoop3.0-01.简介

原创
2017/04/09 19:19
阅读数 54

Hadoop 3.0 简介

概述

相较于2.x版本有许多重大的性能上的提升,目前是alpha版本,主要用于测试,不推荐在产品环境下使用。

概览

  • 最低要求jdk1.8支持
  • HDFS支持纠错编码
  • Yarn Timer v2版本
  • shell脚本重写
  • MR的任务级别在native层面上的优化策略
  • 支持两个以上的NN
  • 修改了端口的多服务支持(解决多个服务占用一个端口引发的冲突问题)
  • 支持微软的蔚蓝数据湖连接器
  • 引入DataNode内的均衡器技术
  • 更多守护进程采用堆内存进行管理,同MR作业管理一样

https://ke.qq.com/webcourse/index.html#course_id=199193&term_id=100236068&taid=1244754537024025&vid=t1417ufwxyu

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部