1
2
3
4
5
6
7
连击 天
fork: star:
加载中
原
HDFS——DN启动慢的分析
【前言】 在测试过程中，发现了一个问题，记录相关的分析过程、内部原理与优化。 【问题与分析】 在测试过程中，发现一个问题：单个dn在配置一块磁盘，存储900w+的block的情况下，重启dn后等...
原
HDFS——块扫描与目录扫描
【前言】 在dn整体架构一文中提到了逻辑业务层包括BP管理、块扫描和目录扫描，文本就来聊聊块扫描和目录扫描的大概原理。 【块扫描】 块扫描主要是对dn上存储的所有block进行数据完整性校验。...
原
HDFS——DN整体架构与启动流程
前面文件介绍了dn的持久化文件与对应的数据结构，本文来介绍写dn的整体架构，以及dn的启动流程。 【整体架构】 如图所示，从功能逻辑上来划分，dn的架构可以分为三层。 最上层为服务层，这一...
原
HDFS——DN的存储数据结构
【前言】 在《DN的持久化文件》一文中介绍了dn持久化文件以及对应的目录结构，那么在dn的内部实现中，又是怎样将这些数据结构串联起来的呢？文本就来介绍dn存储实现的相关内容。 【数据结构】...
原
HDFS——DN的持久化文件
【前言】 在HDFS中，NameNode存储了整个集群的元数据信息，DataNode（下面都简称dn）负责实际数据的存储，这些数据最终持久化到磁盘中。 那么这些持久化的文件都包括哪些？分别都有什么用？某...
原
YARN聚合文件格式
【前言】 我们都知道日志聚合后的文件是存放在HDFS中的，然而每个application可能会有很多的container，每个container又有多个日志文件，那么日志聚合后，这些日志文件在HDFS中是怎样进行存放...
没有更多内容
加载失败，请刷新页面
没有更多内容
删除文章
文章删除后无法恢复，确定删除此文章吗？
删除动弹
动弹删除后，数据将无法恢复
评论删除后，数据将无法恢复