文档章节

服务器能ping通,但是ssh,http无法连接

__都非拉得
 __都非拉得
发布于 2014/10/10 01:24
字数 622
阅读 492
收藏 0

宕机分析报告

描述

服务器宕机, 网络能ping通,但是ssh,http无法连接. 宕机时间从8:57:32到9:54:34 CentOS 5.4 x64 2014-9-26 8:57:32

问题出现之前的操作

对服务器操作系统进行了更新 ( CentOS 5.10 Final x64 )

判断可能原因

ssh vsftpd 暴力破解

# cat /var/log/secure | grep 'Invalid user' # 不存在跟没有认证的用户的ssh登录尝试
# cat /var/log/secure | grep -v invalid | grep 'Failed password' # 授权过的但是密码不对ssh登录尝试
# cat /var/log/secure | grep 'incorrect password' # 授权过的但是密码不对vsftpd登录尝试

开启了IPv6,IPV4与IPV6冲突导致SSH无法绑定端口

# ifconfig # 看下面是否存在ipv6

SSH配置或者没有开启

# /etc/init.d/sshd status

iptables规则

# iptables -F # 清除预设表filter中所有规则链中的规则。
# iptables -X # 清除预设表filter中使用者自定链中的规则。
# iptables -Z
# service iptables stop #关闭防火墙

selinux开启

# vi /etc/selinux/config
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加

shutdown -r now #重启系统

端口占用

# lsof -i tcp:80 # tcp:22
COMMAND   PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
httpd    1342 apache    3u  IPv6 514672      0t0  TCP *:http (LISTEN)

...

# pkill http #或者 kill -9 1342

内存耗光

# free -m
             total       used       free     shared    buffers     cached
Mem:          5961       5414        547          0        752       3850
-/+ buffers/cache:        811       5150
Swap:         1992         52       1939

# cat /var/log/message | grep "out of memory" 

CPU

# top

主要是看进程的cpu/占用内存/运行时间,当然也可以看内存使用以及负载等.

负载

# uptime 
12:40:11 up  2:47,  1 users,  load average: 0.04, 0.03, 0.08

当然,现在的负载小多了,当时的负载我记得是在16点几.

问题出现后的操作

  • 重启服务器

  • 连接ssh, 检测...

  • 停止httpd,vsftpd,mysql等服务.

  • 分析http错误日志,发现大量mod_pagespeed错误提示.

  • 关闭mod_pagespeed, 保存错误日志后清空错误日志文件

  • 重启httpd, 继续查看http错误日志

  • 正常

初步原因

服务器内存耗光,apache进程导致cpu飙升到100%

深度原因

mod_pagespeed在更新后自动打开了,在老网站生成缓存的时候出错了.
但是这个操作几乎无限进行,结果瞬间生成了大量的错误日志写入到了http错误日志中,
大量的写操作导致宕机

当然,至于为什么mod_pagespeed会出现这种问题,继续寻找中...

EOF

© 著作权归作者所有

共有 人打赏支持
__都非拉得
粉丝 1
博文 8
码字总数 2268
作品 0
朝阳
程序员
私信 提问
能ping得通服务器但却ssh不了的原因

我遇到的问题是这样的: 这个星期装服务器,搞了一个集群,服务器是双网卡,一个网卡连外网222开头,一个网卡连内网192开头,在系统等一切都安全成功,网络配置成功之后,奇怪的事情发生了,...

韦小龙
02/01
0
0
实例的网络联通性问题

这是偶然发现的问题,设置好网桥后,发现重启服务器后实例的状态可以自动恢复到重启前,于是各种高兴,但是却发现了实例的网络联通性问题。 前面提到过,控制节点上nova-network运行后,会将...

长平狐
2012/08/24
58
0
无法连接服务器,所有服务无法访问

最近服务器总是无法连接上,能ping通,服务器上的所有服务都无法访问,但过一会又可以访问,当正在服务器上时,也发生这种情况,所有服务都无法访问但正在连接的ssh不会掉,另外开启又无法连...

joeluo
2011/07/18
5.6K
12
关于昨天出国骨干网络的问题

昨天 10:15 左右。我正在对位于香港的 Linux 服务器进行维护,首先发现其中一台香港服务器的 SVN客户端 无法连接到位于广州机房的服务器。 当时使用 ping 命令进行检测,相当正常,延时跟平常...

范堡
2012/04/13
1K
10
故障公告:Linux 内核故障导致网站宕机近 1 个小时

今天晚上 7 点二十几分时 OSChina 社区网站无法访问,具体表现是服务器可以 ping 通,但是无法通过 ssh 远程连接,显示连接被拒绝。 联系机房人员接上显示器发现屏幕上不断出现一行行的字母数...

红薯
07/25
2.8K
37

没有更多内容

加载失败,请刷新页面

加载更多

Kafka+Flink 实现准实时异常检测系统

1.背景介绍 异常检测可以定义为“基于行动者(人或机器)的行为是否正常作出决策”,这项技术可以应用于非常多的行业中,比如金融场景中做交易检测、贷款检测;工业场景中做生产线预警;安防...

架构师springboot
22分钟前
3
0
DecimalFormat 类基本使用

/* * DecimalFormat 类主要靠 # 和 0 两种占位符号来指定数字长度 * 0 表示如果位数不足则以 0 填充 * # 表示只要有可能就把数字拉上这个位置 * */ public static void main(String[] args){...

嘴角轻扬30
39分钟前
3
0
This APT has Super Cow Powers.

在Debian/Ubuntu上,apt包管理器内嵌着一个彩蛋. 如果你在命令行界面输入 apt help 在最后一行能找到This APT has Super Cow Powers. 说明该apt具有超级牛力 牛力是个什么梗? 则说明你的系统...

taadis
56分钟前
2
0
起薪2万的爬虫工程师,Python需要学到什么程度才可以就业?

爬虫工程师的的薪资为20K起,当然,因为大数据,薪资也将一路上扬。那么,Python需要学到什么程度呢?今天我们来看看3位前辈的回答。 1、前段时间快要毕业,而我又不想找自己的老本行Java开发...

糖宝lsh
今天
9
0
携手开发者共建云生态 首届腾讯云+社区开发者大会在京举办

本文由云+社区发表 北京时间12月15日,由腾讯云主办,极客邦科技、微信、腾讯TEG协办的首届腾讯云+社区开发者大会在北京朝阳悠唐皇冠假日酒店举办。在会上,腾讯云发布了重磅产品开发者平台以...

腾讯云加社区
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部