加载中
一文搞懂hadoop的metrics

【概述】 一个成熟的项目通常都会自带提供metric,反映运行时内部的各个信息,以方便进行监控运维。hadoop也不例外,通过jmx可以查看内部各个metrics信息,本文就来聊聊hdfs的metrics。 【M...

hdfs——nn的启动优化

【概述】 上一篇文章讲解了,在一定DN节点规模,一定block数据量下的并发写文件的优化问题。 在这种节点、数据量规模的集群中,当HDFS全部重启(nn+dn全部重启),或者两个NN都重启后,需要经...

2022/01/24 23:19
1.6K
HDFS用了这个优化后,性能直接翻倍

【背景】 前段时间在HDFS的dn节点规模1000+的环境中,并且有1亿block数据量的情况下, 进行大量并发写文件测试时,发现部分客户端写异常并导致最终仅写入了部分数据,本文就该问题进行分析总...

kafka问题的一次不负责任排查

2022的第一篇文章,分享总结下一个kafka问题的排查过程。 【问题现象】 元旦前,某测试环境因为网络不稳定,出现了kafka与zookeeper连接断开后,没有重连。 【问题定位】 初步查看了下日志,...

2022/01/06 01:20
1.2K

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部