文档章节

实战:用Hyperic HQ 监控诊断网站无法访问问题

MartinKing
 MartinKing
发布于 2014/09/01 18:38
字数 986
阅读 475
收藏 2

问题描述

一直采用Hyperic HQ CRP监控 两个网站:

www.GoodU.info :   “如是我闻”,记录每天不经意间看到的一些好文章,排版简洁,易于阅读,“你永远不知道下一篇是什么类型的文章。”

www.wongjingwingchun.com: “黄祯咏春会”,一个以咏春拳会友的的网站,由黄祯咏春传人免费教习,这里做个广告,欢迎参与。

周末休闲中,突然收到报警邮件,监控的网站无法访问。!!! ? ? ?

环境描述

采用的基本上是主流技术。

Centos6, 64bit,;  Apache Httpd 2.2.15, MySQL 5.1.x ; Drupal;

在该服务器上安装了 HQ Agent 5.8

分析过程

下面的图片是事后,恢复后的截屏,请着重看中间红点时间段部分:

打开监控的工具 http://demo.innovatedigital.com:7080/

CPU使用率和负载,在事发前出现异动,快速增加。

内存交换区,空闲内存和交换区使用大小,快速增加。这里,考虑到linux的内存管理机制,关注的是Free Memory(+buffers/cache), 而不是 Used Memory(变化不大). 很可能是某程序突然占用了大量的内存。

再看httpd , 每分钟的字节吞吐量和请求量,没有明显变化。

Busy Servers 和 Busy Workers 有所增长,但是 Keepalive 没有明显变化。问题的原因可能与Http 关系不大。

还需观察数据库,mysql,  其进程cpu使用率没有变化,内存有所减低,估计是其他进程用了大量内存,对mysql有所挤压,释放了一些内存。slow query数量有所增加。

那么是哪个进程突然占用了过多的内存和CPU? 请看,每个时间点采集的 top 结果,大量的rdp,这是什么?从来没有安装过,是rdesktop 还是 。。。? 在问题发生前几个时间点,有这些现象,再之前,并没有。

登录到该主机,发现在 /root/下 有 一个 .rdp 目录,里面的文件,包含了很多存放常用密码的文件。是被黑了? 哪位大虾有兴趣,可留言索取。

分析,secure 日志,摘取几行如下:

Aug 30 16:04:05 www sshd[1842]: Failed password for root from 111.74.238.167 port 1237 ssh2
。。。。。。
Aug 30 16:39:46 www sshd[2432]: Failed password for root from 202.109.143.35 port 4421 ssh2
。。。。。。
Aug 30 17:01:44 www sshd[2756]: Failed password for root from 117.21.173.175 port 2182 ssh2
。。。。。。
Aug 30 22:10:29 www sshd[5437]: Failed password for root from 222.186.34.36 port 3580 ssh2
。。。。。。

查一查哪里的IP?

 111.74.238.167,202.109.143.35,117.21.173.175  江西省吉安市 电信; 222.186.34.36 江苏省镇江市 电信

难道不是山东的南翔技校? 

初步结论

根据上面的情况,很可能是主机密码被猜到,从而象上面几个地址一样被利用。

措施

首先是修改密码,关闭ssh登录,采用vnc。

为了能够更早发现网站无法访问的问题,在HQ 中定义了一个服务,轮询某个特定的网页,根据返回时间和返回的数据判断是否发生了问题。具体如下:

定义一个http service , 名为 goodu.info 连接测试, 具体参数:主机名 www.goodu.info; 端口: 80; 超时时间:10秒;PATH: /gc/; method: GET;  pattern: 如是我闻; Follow redirect: yes;   意思是 定期访问 http://www.goodu.info/gc 如果返回的页面中有 “如是我闻”四个字,就认为是正常的。

  

然后,再定义一些报警等。 网站恢复后,请看一些图:

Mysql 运行状态:

主机运行状态:

留言

拜托各位黑客大虾对小站手下留情;

恳请各位高手指点 rdp 是什么? 希望得出更多结论. 

免费下载Hyepric  http://www.innovatedigital.com/download/hyperic_index.asp


© 著作权归作者所有

共有 人打赏支持
MartinKing
粉丝 36
博文 62
码字总数 30438
作品 0
东城
私信 提问
在Centos 6 64bit 上安装 Hyperic HQ 5.8.2.1 中文版

未尽之处,欢迎指正, http://hq.innovatedigital.com/ 推荐:用Hyperic HQ 监控诊断网站无法访问问题 环境描述: [test@tester ~]$ cat /etc/issueCentOS release 6.5 (Final)Kernel r on a...

MartinKing
2014/08/26
0
2
有关Hyperic 的几个常见疑问

Hyperic对被监控系统的负载如何? Hyperic HQ代理采用低侵入式设计,对被监控系统的影响比较小,通常只需要少1%的CPU资源。在正常运行的情况下,只占用小于64M的固定内存。 网管软件与Hyper...

MartinKing
2014/12/22
0
0
开源监控软件 Hyperic 的两种插件

开源监控工具 Hyperic 提供两种插件,用户交互插件和资源插件。不过到当前的5.8版本,在官方的文档上只剩下了资源插件。 用户交互(HQU)插件 HQU是一个Hyperic HQ的插件框架,允许自定义用户...

MartinKing
2015/01/13
0
0
网络管理工具hyperic hq对tomcat的监控配置

网络管理工具Hyperic使用Tomcat作为的Hyperic服务器的核心组件。 在整个Tomcat社区参与中,Hyperic凭借其客户和社区确保HQ提供最完整的Tomcat管理功能。 网络管理工具Hyperic的Tomcat管理插件...

liubang
2012/11/26
472
0
Hyperic HQ资源插件开发指南

推荐: 由Hyperic HQ 国内独家代理商北京铸锐数码科技有限公司提供。适用于Hyperic HQ开发人员,讲述了插件管理功能,插件开发介绍,JMX插件,脚本插件,从命令行运行和测试插件,插件部署。是Hyp...

liuyifeng
2011/08/15
908
2

没有更多内容

加载失败,请刷新页面

加载更多

KaliLinuxNetHunter教程下载相关资源

KaliLinuxNetHunter教程下载相关资源 当用户将刷机工具准备完后,则需要下载ROM包。ROM是ROM image(只读内存镜像)的简称,常用于手机定制系统。一般手机刷机的过程,就是将只读内存镜像(R...

大学霸
17分钟前
1
0
C# 字符串插值

字符串插值 据说是 C# 6.0 中引入的新特性. 字符串插值允许您以更简洁易读的方式将字符串拼凑在一起. 如果在字符串的左引号前添加$,则可以在字符串中的大括号里包含字符串值,如变量等. 一些示...

taadis
41分钟前
2
0
Navicat使用教程:接收MySQL/MariaDB问题通知

下载Navicat Monitor最新版本 Navicat Monitor 是一套安全、简单而且无代理的远程服务器监控工具。它具有强大的功能使你的监控发挥最大效用。受监控的服务器包括 MySQL、MariaDB 和 Percona ...

电池盒
42分钟前
3
0
我是怎样和Linux系统结缘并通过红帽RHCE认证的

我高考完当时就是选择的计算机科学与技术专业,上大学以后联想到的和计算机相关的就只有写代码,开发,网站,网页设计,就没有其他的了,当时学习写代码也都是在Windows上,什么C#、C++之类的...

Linux就该这么学
50分钟前
5
0
hbase的web页面访问

hbase1.1版本web页面默认不开放 在hbase-site.xml中加入一下内容即可 <!-- 新增的配置 --><property><name>hbase.master.info.port</name><value>60010</value></property> 借鉴htt......

你为什么不吃药
54分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部