文档章节

基于Ganglia实现集群性能态势感知

RiboseYim
 RiboseYim
发布于 2016/11/04 14:19
字数 2063
阅读 212
收藏 12
点赞 0
评论 1

回顾

通过前面的发布过的两篇文章,我们已经大致掌握了描述单个服务器的性能情况的方法。可以从load avgerage等总括性的数据着手,获得系统资源利用率(CPU、内存、I/O、网络)和进程运行情况的整体概念。参考CPU使用率和I/O等待时间等具体的数字,从而自顶向下快速排查各进程状态。也可以在60秒内,通过运行以下10个基本命令,判断是否存在异常、评估饱和度,度量请求队列长度等等。

1.基于Linux单机的负载评估

2.Netflix性能分析模型:In 60 Seconds

在真实的工程实践中,并不能总是通过几行简单的命令,直接获得性能问题的答案。一般不会存在一台单独运行的服务器,它们一定属于某个服务集群之中,就算是同一集群的服务器,也可能属于不同建设周期、硬件配置不同、分工角色不同。或者由不同机房、不通集群的服务器共同协作完成任务。

另外,很多性能问题也需要长时间的追踪、对比才能作出判断。正如任何一个高明的医生,都需要尽可能多地了解、记录病人的病史,不掌握这些情况,盲目下药,无异于庸医杀人。诚如医者曰:

夫经方之难精,由来尚矣。今病有内同而外异,亦有内异而外,
故五脏六腑之盈虚,血脉荣卫之通塞,固非耳目之所察,
必先诊候以审之。世有愚者,读方三年,便谓天下无病可治;
及治病三年,乃知天下无方可用。

基于Ganglia项目,我们可以快速搭建一套高性能的监控系统,展开故障诊断分析、资源扩容预算甚至故障预测。

Ganglia框架简析

一般应用中,需要用到两个核心组件:

** Gmond (Ganglia Monitoring Daemon) ** Gmond承担双重角色:1、作为Agent,部署在所有需要监控的服务器上。 2、作为收发机,接收或转发数据包。

** Gmetad (Ganglia Meta Daemon)** 负责收集所在集群的数据,并持久化到RRD数据库。根据集群的组网情况,可以部署1-N个。

** Web frontend ** Ganglia项目提供一个PHP编写的通用型的Web包,主要实现数据可视化,能提供一些简单的数据筛选UI。页面不多,大量使用了模版技术。HTTP Server方面,用Apache和Nginx都可以。

** RRDTool (Round Robin Database) ** Gmetad收集的时间序列数据都通过RRD存储,RRDTool作为绘图引擎使用。

** 插件生态 ** Ganglia最重要的特性之一就是提供了一个灵活的数据标准和插件API。 它使得我们可以根据系统的情况,很容易地在默认的监控指标集之上,引用或定制其他扩展指标。 这一特性在大数据领域也获得了认可,Hadoop,Spark等都开放了面向Ganglia的指标集。 在Github上也有很多现成的扩展插件。

Ganglia工作模式

项目的名称其实已经反映了作者的设计思路。 Ganglia(又作:ganglion),直译为“神经节”、“中枢神经”。在解剖学上是一个生物组织丛集,通常是神经细胞体的集合。在神经学中,神经节主要是由核周体和附随连结的树突组合而成。神经节经常与其他神经节相互连接以形成一个复杂的神经节系统。神经节提供了身体内不同神经体系之间的依靠点和中介连结,例如周围神经系统和中枢神经系统。

Ganglia的作者意图将服务器集群理解为生物神经系统,每台服务器都是独立工作神经节,通过多层次树突结构连接起来, 既可以横向联合,也可以从低向高,逐层传递信息。具体例证就是Ganglia的收集数据工作可以工作在单播(unicast)或多播(multicast)模式下, 默认为多播模式。

单播:Gmond收集到的监控数据发送到特定的一台或几台机器上,可以跨网段

多播:Gmond收集到的监控数据发送到同一网段内所有的机器上,同时收集同一网段内的所有机器发送过来的监控数据。 因为是以广播包的形式发送,因此需要同一网段内。但同一网段内,又可以定义不同的发送通道。

vi /usr/local/ganglia/etc/gmond.conf

** 默认配置:**

cluster {
  name = "cluster01"
}

udp_send_channel {
  mcast_join = 239.2.11.71
  port = 8649
  ttl = 1
}

udp_recv_channel {
  mcast_join = 239.2.11.71
  port = 8649
  bind = 239.2.11.71
  retry_bind = true
}

tcp_accept_channel {
  port = 8649
  gzip_output = no
}

** 单播模式Gmetad增加配置:**

udp_recv_channel {
  port = 8666
}

** 单播模式Gmond增加配置:**

udp_send_channel {
  host = 192.168.0.39
  port = 8666
  ttl = 1
}

** 默认装载指标集:**

modules {
  module {
    name = "core_metrics"
  }
  module {
    name = "cpu_module"
    path = "modcpu.so"
  }
  module {
    name = "disk_module"
    path = "moddisk.so"
  }
  module {
    name = "load_module"
    path = "modload.so"
  }
  module {
    name = "mem_module"
    path = "modmem.so"
  }
  module {
    name = "net_module"
    path = "modnet.so"
  }
  module {
    name = "proc_module"
    path = "modproc.so"
  }
  module {
    name = "sys_module"
    path = "modsys.so"
  }
}

vi /usr/local/ganglia/etc/gmetad.conf

### 配置数据源,可以多个
data_source "cluster01" localhost:8649   
data_source "cluster02"  192.168.0.39:8666 192.168.0.48:8666

gridname "mygrid"

### 指定RRD数据路径
rrd_rootdir "/home/data/ganglia/rrds"

查看数据流向

# netstat -an | grep 86     
tcp        0      0 0.0.0.0:8649         0.0.0.0:*           LISTEN      ##tcp_accept_channel
udp        0      0 192.168.0.45:52745   239.2.11.71:8649    ESTABLISHED  ##组播
udp        0      0 239.2.11.71:8649     0.0.0.0:*                               
udp        0      0 0.0.0.0:8666         0.0.0.0:*    ##udp_recv_channel

Gmetad所在位置,已经可以收到监控数据的服务器列表:

# telnet localhost 8649 | grep HOST
<HOST NAME="192.168.0.56" IP="192.168.0.56" TAGS="" REPORTED="1478226772" TN="6" TMAX="20" DMAX="86400" LOCATION="GZ" GMOND_STARTED="1477817579">
</HOST>
<HOST NAME="192.168.0.39" IP="192.168.0.39" TAGS="" REPORTED="1478226771" TN="7" TMAX="20" DMAX="86400" LOCATION="GZ" GMOND_STARTED="1477473541">
......

Gmond所在位置,收到的监控指标数据明细:

# telnet localhost 8649 | grep cpu_idle
telnet: connect to address ::1: Connection refused
<METRIC NAME="cpu_idle" VAL="96.7" TYPE="float" UNITS="%" TN="33" TMAX="90" DMAX="0" SLOPE="both">
<METRIC NAME="cpu_idle" VAL="100.0" TYPE="float" UNITS="%" TN="20" TMAX="90" DMAX="0" SLOPE="both">
<METRIC NAME="cpu_idle" VAL="91.2" TYPE="float" UNITS="%" TN="4" TMAX="90" DMAX="0" SLOPE="both">
<METRIC NAME="cpu_idle" VAL="96.3" TYPE="float" UNITS="%" TN="28" TMAX="90" DMAX="0" SLOPE="both">
<METRIC NAME="cpu_idle" VAL="99.9" TYPE="float" UNITS="%" TN="5" TMAX="90" DMAX="0" SLOPE="both">
<METRIC NAME="cpu_idle" VAL="83.9" TYPE="float" UNITS="%" TN="14" TMAX="90" DMAX="0" SLOPE="both">
<METRIC NAME="cpu_idle" VAL="84.2" TYPE="float" UNITS="%" TN="0" TMAX="90" DMAX="0" SLOPE="both">
<METRIC NAME="cpu_idle" VAL="44.1" TYPE="float" UNITS="%" TN="9" TMAX="90" DMAX="0" SLOPE="both">
......

数据可视化

集群视图

一级视图

二级视图

主机视图

多机横向对比

多机横向对比

Nginx监控扩展插件

CPU密集型特征

注意事项

没有任何一个开源项目是完美的。

1、告警流程框架:Ganglia本身并不具备,可以选用Nagios补充。

2、日志管理框架:Ganglia本身并不具备,可以选用Splunk补充。

3、性能开销预算

对于单纯的Gmond节点来说,性能开销很低。主要的瓶颈在中央节点。

各节点的gmond进程向中央节点发送的udp数据带来的网络开销。如果一个节点每秒发10个包, 1000个节点将会发出10000个,每个包有200字节,就有2m字节,10000个包的处理所需要的cpu使用也会上升。

Gmetad默认15秒向gmond取一次xml数据,解析xml文件带来的CPU负荷也会随着管理节点数线性增长。

格外需要注意的是RRD的写入瓶颈。实际应用中需要根据资源情况,调整采样频率、权衡指标数量、引入RRDCached等方式优化。

4、网络流向监控:Ganglia原生支持sFlow GitHub:gmond-proxy project。what are some of the benefits of using the proxy?

Firstly, the proxy allows metrics to be filtered, reducing the amount of data logged and increasing the scaleability of the Ganglia collector.

Secondly, sFlow-RT generates traffic flow metrics, making them available to Ganglia.

Finally, Ganglia is typically used in conjunction with additional monitoring tools that can all be driven using the analytics stream generated by sFlow-RT.

推荐电子书:《Linux Perf Master》

以Linux性能为核心,覆盖评估诊断、监控、优化工具、方法论和参考案例,欢迎订阅、下载、批评指正。 本书发表在GitBook平台: https://www.gitbook.com/book/riboseyim/linux-perf-master/details

更多精彩内容扫码关注公众号:RiboseYim's Blog:https://riboseyim.github.io 微信公众号

© 著作权归作者所有

共有 人打赏支持
RiboseYim
粉丝 68
博文 70
码字总数 159285
作品 0
广州
程序员
加载中

评论(1)

RiboseYim
RiboseYim
sFlow
《Linux Perf Master》Edition 0.3 发布

《Linux Perf Master》Edition 0.3 发布 https://www.gitbook.com/book/riboseyim/linux-perf-master/details 快速下载网盘:https://pan.baidu.com/s/1bppqKdL 提供 pdf、epub、mobi 三种格......

RiboseYim ⋅ 2017/12/28 ⋅ 0

Ganglia 3.7.1 发布,分布式监控系统

Ganglia 3.7.1 发布,此版本主要更新信息如下: gmetad 里的哈希表已返工以支持更高的数值和更大的矩阵 一些 GMond Python 模块已经重写并加强 详细信息请查看发行页面。 下载地址如下: ht...

oschina ⋅ 2015/04/02 ⋅ 3

Ganglia 3.3.0 发布,集群监控系统

Ganglia 是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可 视化。它利...

fei ⋅ 2012/02/06 ⋅ 1

nagios+ganglia分布式监控

nagios+ganglia监控批量主机 之前我们学习用nagios+cacti实现网络监控报警,如果是传统的运维工作,有这个工具就足够强大了。但是对于分布式系统的开发+运维人员(DevOps?),更关心的是掌握...

cunlifang ⋅ 2014/05/10 ⋅ 0

轻松监控上万台服务器:企业运维监控平台架构设计与实践指南

一、Cacti/Nagios/Zabbix/centreon/Ganglia之抉择 1、cacti Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。 简单的说Cacti 就是一个PHP 程序。它通过使用SNMP ...

yard521 ⋅ 2016/09/19 ⋅ 0

Ganglia的网友评论

Ganglia是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可 视化。它利...

红薯 ⋅ 2009/12/11 ⋅ 4

分布式监控系统--Ganglia

Ganglia是一个跨平台可扩展的,高 性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool用于数据存储和可 视化。它利...

匿名 ⋅ 2008/12/05 ⋅ 2

企业运维监控平台架构设计与实现(ganglia篇)

一、Cacti/Nagios/Zabbix/centreon/Ganglia之抉择 1、cacti Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。 简单的说Cacti 就是一个PHP 程序。它通过使用SNMP 协议...

南非蚂蚁 ⋅ 2016/04/06 ⋅ 0

Linux下的监控器之一Ganglia详解与部署

Ganglia基础详解 Ganglia介绍 Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统,如集群和网格。它是基于分层设计,它使用广泛的技术,如XML数据代表,便携数据传输,RRDtool...

Insane_linux ⋅ 2017/08/10 ⋅ 0

Hadoop 管理监控工具--Apache Ambari

Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。 Ap...

匿名 ⋅ 2012/12/25 ⋅ 3

没有更多内容

加载失败,请刷新页面

加载更多

下一页

浅谈springboot Web模式下的线程安全问题

我们在@RestController下,一般都是@AutoWired一些Service,由于这些Service都是单例,所以并不存在线程安全问题。 由于Controller本身是单例模式 (非线程安全的), 这意味着每个request过来,...

算法之名 ⋅ 今天 ⋅ 0

知乎Java数据结构

作者:匿名用户 链接:https://www.zhihu.com/question/35947829/answer/66113038 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 感觉知乎上嘲讽题主简...

颖伙虫 ⋅ 今天 ⋅ 0

Confluence 6 恢复一个站点有关使用站点导出为备份的说明

推荐使用生产备份策略。我们推荐你针对你的生产环境中使用的 Confluence 参考 Production Backup Strategy 页面中的内容进行备份和恢复(这个需要你备份你的数据库和 home 目录)。XML 导出备...

honeymose ⋅ 今天 ⋅ 0

JavaScript零基础入门——(九)JavaScript的函数

JavaScript零基础入门——(九)JavaScript的函数 欢迎回到我们的JavaScript零基础入门,上一节课我们了解了有关JS中数组的相关知识点,不知道大家有没有自己去敲一敲,消化一下?这一节课,...

JandenMa ⋅ 今天 ⋅ 0

火狐浏览器各版本下载及插件httprequest

各版本下载地址:http://ftp.mozilla.org/pub/mozilla.org//firefox/releases/ httprequest插件截至57版本可用

xiaoge2016 ⋅ 今天 ⋅ 0

Docker系列教程28-实战:使用Docker Compose运行ELK

原文:http://www.itmuch.com/docker/28-docker-compose-in-action-elk/,转载请说明出处。 ElasticSearch【存储】 Logtash【日志聚合器】 Kibana【界面】 答案: version: '2'services: ...

周立_ITMuch ⋅ 今天 ⋅ 0

使用快嘉sdkg极速搭建接口模拟系统

在具体项目研发过程中,一旦前后端双方约定好接口,前端和app同事就会希望后台同事可以尽快提供可供对接的接口方便调试,而对后台同事来说定好接口还仅是个开始、设计流程,实现业务逻辑,编...

fastjrun ⋅ 今天 ⋅ 0

PXE/KickStart 无人值守安装

导言 作为中小公司的运维,经常会遇到一些机械式的重复工作,例如:有时公司同时上线几十甚至上百台服务器,而且需要我们在短时间内完成系统安装。 常规的办法有什么? 光盘安装系统 ===> 一...

kangvcar ⋅ 昨天 ⋅ 0

使用Puppeteer撸一个爬虫

Puppeteer是什么 puppeteer是谷歌chrome团队官方开发的一个无界面(Headless)chrome工具。Chrome Headless将成为web应用自动化测试的行业标杆。所以我们很有必要来了解一下它。所谓的无头浏...

小草先森 ⋅ 昨天 ⋅ 0

Java Done Right

* 表示难度较大或理论性较强。 ** 表示难度更大或理论性更强。 【Java语言本身】 基础语法,面向对象,顺序编程,并发编程,网络编程,泛型,注解,lambda(Java8),module(Java9),var(...

风华神使 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部