一文搞懂hadoop的metrics

原创
2022/01/29 22:04
阅读数 1.1K


【概述】


一个成熟的项目通常都会自带提供metric,反映运行时内部的各个信息,以方便进行监控运维。hadoop也不例外,通过jmx可以查看内部各个metrics信息,本文就来聊聊hdfs的metrics。


【Metrics指标查询】


hdfs的metrics通过jmx获取,具体可以通过http的方式获取,也可以通过命令行的方式来获取。


通过http的方式获取,可以全量获取所有jmx的指标项,也可以精确获取指定组件服务的指定模块的指定指标项


  • 对于全量获取,其请求的URL格式为:


http://$IP:$PORT/jmx


其中IP、PORT为对应组件服务http的监听ip、端口。以nn为例,端口默认为50070。


  • 而对于精准获取,其请求的URL格式为:


http://$IP:$PORT/jmx?get=MXBeanName::AttributeName


其中MXBeanName的格式为:"Hadoop:service=$ServiceName,name=$Name"

ServiceName为组件服务的名称,对于hdfs而言就是NameNode、DataNode、JournalNode;对于yarn而言就是ResourceManager、NodeManager

Name是服务内部不同模块的名称,详见后面的指标详解。

AttributeName则是模块中的具体属性(指标项)


精准获取的返回结果以JSON格式描述,具体如下代码所示:


{
  "beans": [ {
    "name" : "MXBeanName",
    "AttriuteName" : xxx,
    ...
  } ]
}


如果参数格式不正确,或者找不到对应的MXBean、Attribute,则返回空或者返回包含错误信息的JSON字符串,例如:


// 参数格式不正确
{
  "result" : "ERROR",
  "message" : "query format is not as expected."
}

// 找不到bean
{
  "beans" : []
}

// 找不到Attribute
{
  "beans" : [ {
    "name" : "Hadoop:service=NameNode,name=RpcActivityForPort9000",
    "modulerType" : "RpcActivityForPort9000",
    "result" : "ERROR",
    "message" : "No attribute with name GetBlockLocationsNumOps was found."
  } ]
}


通过命令行获取,其命令为:


hdfs jmxget -server $IP -port $PORT -service NameNode


ip仍旧是组件服务的IP,port则是指定jmi监听端口

这里就不举例贴代码了,有兴趣的可以实际测试验证。


【概述】


知道了怎么查询(获取)jmx指标后,接下来自然是了解每个指标项的具体含义。这里主要针对namenode组件服务,罗列内部不同模块的主要指标项。


  • RpcDetailedActivityForPortXXX

模块名称后面的XXX为具体的rpc监听端口,例如默认的9000。因此如果有多个rpc监听端口,也就会有多个这样的模块,每个端口一个

该模块下的指标主要为客户端和datanode不同rpc请求的统计信息,包括请求次数以及平均响应时长


指标项
说明
RegisterDatanodeNumOps
接收到的DN的注册次数
RegisterDatanodeAvgTime
dn注册请求的平均处理耗时
SendHeartbeatNumOps
接收到的dn心跳次数
SendHeartbeatAvgTime
心跳请求的平均处理耗时
TransitionToActiveNumOps
HA切换的次数
TransitionToActiveAvgTime
HA切换的平均耗时
BlockReportNumOps
全量块汇报的次数
BlockReportAvgTime
全量块汇报的平均处理耗时
BlockReceivedAndDeletedAvgTime
增量块汇报的次数
BlockReceivedAndDeletedNumOps 增量块汇报的平均处理耗时
AddBlockNumOps
申请新block请求的次数
AddBlockAvgTime
申请新block请求的平均处理耗时

这里只罗列了部分请求,但从上面罗列的指标项可以看出来,针对每类RPC请求,都有两个指标,一个是次数(NumOps),一个是该类请求的平均处理耗时(AvgTime)


  • RpcActivityForPortXXX

XXX同样表示具体的rpc监听端口,但与上面提到的rpc模块不同,该模块描述更通用的指标项,也就是rpc服务自身的一些信息,例如监听端口的首发字节数、累计rpc请求数、rpc请求的认证、鉴权情况、rpc队列的情况、以及监听端口的连接情况等信息。


指标项
说明
ReceivedBytes
该端口累计接收数据的大小(单位:字节)
SentBytes
该端口累计发送数据的大小(单位:字节)
RpcQueueTimeNumOps
rpc累计请求数
RpcQueueTimeAvgTime
rpc请求在队列中的平均时长(从接收到被处理过程中在队列中的时长)
RpcProcessingTimeNumOps
rpc累计请求数
RpcPorcessingTimeAvgTime rpc请求的平均处理耗时
RpcAuthenticationFailures
认证失败的rpc请求个数
RpcAuthenticationSuccess
认证成功的rpc请求个数
RpcAuthorizationFailures 鉴权失败的rpc请求个数
RpcAuthorizationSuccesses
鉴权成功的rpc请求个数
RpcClientBackOff
rpc队列满导致的请求回退个数
在rpc的默认调度下,都是采用队列满,就死等的方式
而使用org.apache.hadoop.ipc.DecayRpcScheduler,就会出现回退的情况
RpcSlowCalls
慢请求的个数
所谓慢请求指的是:采样率大于1024,并且本次请求的处理时长带平均值+加权平均值
NumOpenConnections 当前的连接数
CallQueueLength
当前请求队列的长度,即队列中的rpc请求个数
NumDroppedConnections
累计丢弃的连接数


  • StartupProgress

记录nn启动的各个阶段的信息、包括各阶段的耗时、完成度、以及各个阶段自身的一些数据,例如从fsimage中加载的inode数,从editlog中加载的事务数等,详细说明如下:


指标项
说明
ElapsedTime
启动阶段的总耗时
PercentComplete
启动的总完成度,1.0表示100%
LoadingFsImageCount
从Fsimage中加载的inode的个数
LoadingFsImageElapsedTime
fsimage加载阶段的总耗时(单位:毫秒)
LoadingFsImageTotal
从fsimage中加载的inode的总数
LoadingFsImagePercentComplete 加载fsimage的完成度
LoadingEditsCount
加载editlog文件的个数,同样1.0表示100%
LoadingEditsElapsedTime editlog加载阶段的总耗时(单位:毫秒)
LoadingEditsTotal
从editlog中加载的事务总数
LoadingEditsPercentComplete
加载editlog的完成度
SavingCheckpointCount
checkpoing的保存个数
SavingCheckpointElapsedTime 保存checkpoint的总耗时
SavingCheckpointTotal
checkpoint的保存个数
SavingCheckpointPercentComplete
保存checkpoint的完成度
SafeModeCount
块汇报的块个数
SafeModeElapsedTime
安全模式的总耗时
SafeModeTotal
块汇报的块个数
SafeModePercentComplete
安全模式的完成度


  • FSNamesystem

主要记录文件系统相关的信息、包括文件数、块的数目、以及对块进行分类后的信息、锁等待的信息(对文件系统的操作都会涉及一个全局锁),其他还包括dn节点的信息等


指标项
说明
MissingBlocks 丢失的块的个数
MissingReplOneBlocks
副本数为1并且块丢失的块个数
ExpiredHeartbeats
dn累计心跳超时的次数
LastCheckpointTime 上一次执行checkpoint的时间
TotalLoad
当前总的连接数
LockQueueLength 当前等锁(FSNameSystemLock)的线程个数
BlocksTotal
当前已分配的block数
NumFilesUnderConstruction 当前处于underConstruction的文件数
NumActiveClients
当前持有租约的活跃用户数
PendingReplicationBlocks
当前等待复制的块的个数
UnderReplicatedBlocks
实际副本数小于副本配置数的块的个数
PendingDeletionBlocks 当前等待删除的块的个数


这里只罗列了部分指标,但是可以看出来,大部分是文章5000字12张图讲解nn内存中的元数据信息中介绍过的内存中保存元数据信息


  • FSNamesystemState

文件系统的状态、包括总的容量、可用容量、剩余容量,以及dn节点信息、块信息等,和上面介绍的FSNamesystem会有大量重复的指标项。


指标项
说明
CapacityTotal HDFS总的总量大小,由dn上报汇总得出
CapacityUsed
hdfs当前已使用容量大小
CapacityRemaining hdfs当前剩余容量大小
NumLiveDataNodes
活跃的(心跳正常)dn节点个数
NumDeadDataNodes
心跳异常离线的dn节点个数
PendingReplicationBlocks
当前等待复制的块的个数


  • NamenodeActivity

nn的活跃信息,主要还是从客户端的角度进行统计,因此会和RpcDetailedActivityForPortXXX有不少相同的指标项。


指标项
说明
FilesCreated
文件创建个数
FilesAppended 文件追加写次数
BlockReceivedAndDeleteOps
增量块汇报次数
StorageBlockReportOps
块汇报次数
BlockOpsQueued
全量块汇报请求等待处理的个数(对于全量块汇报,在nn内部是串行处理的,因此其他的增量块汇报请求会先进入到一个队列中等待)


  • NamenodeStatus

主要记录nn节点自身的一些状态信息,例如ip,端口、角色,状态等

指标项
说明
NNRole

nn的角色(Active或Standby

HostAndPort 主要是rpc的监听ip端口
LastHATransitionTime
上一次进行HA切换的时间


  • NameNodeInfo

指标项
说明
ClusterId 集群的uuid信息
BlockPoolId
块池的id
NameDirStatus

nn配置的用于持久化元数据的卷(目录)的信息

除了这些之外,还有一些和其他重复的指标项。


【总结】


来小结一下,本文主要介绍了hdfs的jmx的相关信息,包括两种获取方式,以及一些详细指标项的说明,还可以进行扩展的内容例如,如何对接prometheus、重点应该关注监控的指标项等。


好了,本文就介绍到这里了,如果觉得本文对你有帮助,三连走起(点赞,在看,分享转发),也欢迎加我微信交流~




本文分享自微信公众号 - hncscwc(gh_383bc7486c1a)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部