加载中
被这个参数三杀了

最近接连排查了几个问题,居然都是同一个参数引起的,本文就通过实际案例讲述下该参数如何引发问题的,以及问题最终又是如何解决的~ 【First Blood】 在我们的环境中,RM是基于HA的方式部署的...

YARN任务运行中的Token

上一篇文章中,主要讲解了token的一些通用知识,以及hadoop中,token的实现和通用数据结构及流程。 本文主要讲述yarn任务提交运行过程中涉及的几个重要token:AMRMToken,NMToken,Container...

2022/05/24 06:41
238
hadoop中的token认证

周更快变成月更了,但还是要坚持,本文来聊聊hadoop中的token,涉及到的点如下图所示。 【Hadoop为什么需要Token】 hadoop最初的实现中并没有认证机制,这意味着存储在hadoop中的数据很容易泄...

2022/05/12 00:27
296
一文搞懂hadoop中的用户

又有一段时间没有更新了,最近忙着搬砖的同时,也填了一些坑,其中不少坑是有关联的,甚至其中有一个配置项接连引发了两三个问题,后续打算逐个总结输出,这里先进行一些铺垫~ 【hadoop的用户...

2022/04/23 00:13
1.3K
问题不难,但藏得有点深

【问题现象】 上周,测试环境偶现创建策略失败,查看ranger的日志发现有如下的错误信息: 2022-03-21 20:14:29,685 [http-bio-6080-exec-13] ERROR org.apache.ranger.rest.ServiceREST (Se...

2022/04/03 23:03
141
HDFS的集群信息

【概述】 我们都知道整个hdfs由nn+zkfc,dn,jn组成,这些可能运行在不同节点上的组件能组成一个集群,其中包含了共同的集群信息,并且各自将集群信息持久化存储到了本地,这个文件就是VERSI...

2022/03/25 22:32
71
HDFS——JN扩容的正确姿势

【前言】 有一段时间没有更文了,一方面是之前准备的hudi系列由于一些细节还没研究得很清楚,暂时没有继续更新。另一方面,最近事情相当多,回家后收拾收拾就十一二点了,也就没有再进行总结...

2022/03/10 00:41
74
从hudi持久化文件理解其核心概念

【概述】 这是hudi系列的第一篇文章,先从核心概念,存储的文件格式加深对概念的理解,后续再逐步对使用(spark/flink入hudi,hudi同步hive等)、原理(压缩机制,索引,聚族等)展开分享~ ...

如何系统学习hdfs

这一年多的时间里,hdfs源码(原理)分析累计也写了30多篇文章了,来一篇文章进行汇总。这篇文章将按照自己的理解来系统的梳理下,应该如何系统的学习hdfs。 先直接上个脑图: 入门 首先得了...

2022/02/07 21:15
114
一文搞懂hadoop的metrics

【概述】 一个成熟的项目通常都会自带提供metric,反映运行时内部的各个信息,以方便进行监控运维。hadoop也不例外,通过jmx可以查看内部各个metrics信息,本文就来聊聊hdfs的metrics。 【M...

2022/01/29 22:04
1.1K
hdfs——nn的启动优化

【概述】 上一篇文章讲解了,在一定DN节点规模,一定block数据量下的并发写文件的优化问题。 在这种节点、数据量规模的集群中,当HDFS全部重启(nn+dn全部重启),或者两个NN都重启后,需要经...

2022/01/24 23:19
1.6K
HDFS用了这个优化后,性能直接翻倍

【背景】 前段时间在HDFS的dn节点规模1000+的环境中,并且有1亿block数据量的情况下, 进行大量并发写文件测试时,发现部分客户端写异常并导致最终仅写入了部分数据,本文就该问题进行分析总...

2022/01/15 00:08
1.8K
kafka问题的一次不负责任排查

2022的第一篇文章,分享总结下一个kafka问题的排查过程。 【问题现象】 元旦前,某测试环境因为网络不稳定,出现了kafka与zookeeper连接断开后,没有重连。 【问题定位】 初步查看了下日志,...

2022/01/06 01:20
380
说说hdfs是如何处理块副本多余和缺失的

上一文,我们讲了nn在内存中如何对元数据进行存储和管理的,文章最后也提到了nn内部如何保证块的副本数维持在指定个数,即对副本缺失的块触发块副本复制,对副本多余的块触发块副本删除。本文...

2021/12/17 01:20
999
5000字12张图讲解nn内存中的元数据信息

namenode作为hdfs中的元数据的管理模块,免不了会提到元数据包括哪些?在内存中又是如何存储管理的,本文就来聊聊nn内存中的元数据信息。 【整体概况】 在HDFS中,NN的主要作用是元数据管理,...

2021/12/09 23:16
2.9K
深入supervisor的通信机制与扩展

【背景概述】 在我们的项目中用到了supervisor作为进程守护。在业务改造过程中,需要将一些配置管理的业务迁移并放到一个独立的容器中运行,该容器和主业务容器通信完成对业务程序的配置和运...

2021/11/26 01:28
148
Datanode的磁盘写满了怎么办?

【背景】 回家路上,接到运维兄弟的电话,说一线上环境,某个DN异常了,原因是有个磁盘写满了,他准备将这个盘剔除出去,重启下DN,问我数据会不会丢失。 我说数据不会丢,我们的数据都是多副...

2021/11/17 23:14
329
一文搞懂Hadoop Archive

【概述】 在HDFS存储体系中,可存储的文件数量受限于NN的内存大小。因为在NN内存中,存储了所有文件的block信息。 因此,对于大量小文件问题,可通过联邦(Federation)和归档(Archive)来解...

2021/11/11 01:04
1.3K
BlockToken原理剖析

【简介】 Hadoop安全需要解决两个问题:一个是认证,即解决用户身份合法性验证问题;另一个是授权,即解决认证用户的操作范围问题。 对于认证,Hadoop设计了Security特性和BlockToken方案;对...

没有更多内容

加载失败,请刷新页面

返回顶部
顶部