Hadoop技术资料汇总(不断更新中)

原创
2019/05/07 21:26
阅读数 1.3K

这些资料都是我在工作中学习、解决问题的资料汇总,我不能保证这里罗列的所有资料对看到的人有用,但大部分都经过我的实际验证。在不断学习和实践过程中,我会不断更新和总结这些资料,同时欢迎大家留言交流。感谢这些资料的作者。

一、HDFS

1、集群安装:

Hadoop 2.6.0 HA高可用集群配置详解

2、NameNode:

HDFS NameNode内存全景

Hadoop NameNode 高可用 (High Availability) 实现解析

3、DataNode:

Hadoop--HDFS之DataNode

4、权限管理:

HDFS权限管理实践

5、数据平衡:

How does the HDFS balancer work internally?

HDFS Commands, HDFS Permissions and HDFS Storage

HORTONWORKS官方文档:Balancing in HDFS

6、集群治理:

应对Hadoop集群数据疯长,这里祭出了4个治理对策!

基于FsImage的HDFS数据深度分析

NameNode Analytics: PayPal’s Big Data Guardian

7、问题汇总:

(1)Hadoop Non DFS Used大小问题:

Hadoop hdfs界面:Hadoop Non DFS Used大小问题

关于hadoop hdfs中Non DFS Used占用很大的问题分析处理

(2)小文件处理:

HDFS自定义小文件分析功能

HDFS文件目录list操作加速优化

(3)Namenode写Journalnode超时,导致Namenode挂掉的问题:

Namenode写Journalnode超时,导致Namenode挂掉的问题

java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond

关于机房交换机故障导致HDFS NameNode挂掉的问题(续)

NameNode HA异常调查

Timed out waiting 20000ms for a quorum of nodes to respond

namenode gc导致的故障一例

Standby NameNode is faling and only one is running

(4)HDFS NameNode 重启优化

(5)Hadoop节点"慢磁盘"监控

8、其他:

(1)Hadoop学习之路(十二)分布式集群中HDFS系统的各种角色

(2)监控相关:

HDFS Ports

hadoop指标项

NameNode Metrics

How to collect Hadoop metrics

(3)RPC:

NameNode 的RPC处理能力不足定位思路

二、YARN

1、调度队列:

Hadoop多用户资源管理–Fair Scheduler介绍与配置

Yarn公平调度器Fair Scheduler根据用户组分配资源池

YARN ResourceManager重启作业保留机制

【Free Style】Hadoop-Yarn之Resource Manager源码分析(四)

2、NodeManager:

NodeManager节点自身健康状态检测机制

3、ResourceManger:

ResourceManger Restart

YARN资源本地化深度解析

4、监控:

yarn社区原生界面详解

5、问题汇总:

(1)资源不足、任务资源分配不合理、队列资源分配不合理引起的资源预留问题:

What is Memory reserved on Yarn

Aggregate Resource Allocation for a job in YARN

(2)任务kill:

YARN批处理方式kill Applications解决方案

(3)Flink实时计算集群:ZooKeeper闪断导致的YARN任务状态不一致引起的RM崩溃问题:

NullPointerException in RM HA enabled 3-node cluster

NPE happened when RM restart after CapacityScheduler queue configuration changed

Flink on YARN with HA enabled crashes all RMs on attempt restoration

6、其他:

查看YARN任务日志的几种方式

YARN ApplicationId的生成方式

Yarn: Application Id - How is it generated ?

三、集群维护

关于DataNode更改IP地址后所可能引发HDFS集群状态变化的分析

四、博客&文章

1、lxw的大数据田地

2、过往记忆

3、Android路上的人

4、石杉的架构笔记:

兄弟,用大白话告诉你小白都能看懂的Hadoop架构原理

大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问

【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍

5、每日 7 千次的跨部门任务调度,有赞怎么设计大数据开发平台?

6、Yarn FairScheduler 的资源预留机制导致的一次宕机事故分析

7、张翼:Spark SQL在携程的实践经验分享!

五、参考书籍

深度剖析Hadoop HDFS,林意群 著

Hadoop技术内幕:深入解析YARN架构设计与实现原理,董西成 著

大数据日知录,张俊林著

六、其他

1、Hadoop源码编译:

(1)环境准备:

brew install autoconf automake libtool

(2)编译:

Hadoop工程根目录下的BUILDING.txt中Maven build goals部分列出了编译Hadoop源码要用的maven命令,以下是参考文章:

编译命令:

mvn clean package -Pdist,native -DskipTests -Dtar

(3)问题解决:

展开阅读全文
打赏
0
7 收藏
分享
加载中
更多评论
打赏
0 评论
7 收藏
0
分享
返回顶部
顶部