文档章节

服务器能ping通,但是ssh,http无法连接

__都非拉得
 __都非拉得
发布于 2014/10/10 01:24
字数 622
阅读 477
收藏 0

宕机分析报告

描述

服务器宕机, 网络能ping通,但是ssh,http无法连接. 宕机时间从8:57:32到9:54:34 CentOS 5.4 x64 2014-9-26 8:57:32

问题出现之前的操作

对服务器操作系统进行了更新 ( CentOS 5.10 Final x64 )

判断可能原因

ssh vsftpd 暴力破解

# cat /var/log/secure | grep 'Invalid user' # 不存在跟没有认证的用户的ssh登录尝试
# cat /var/log/secure | grep -v invalid | grep 'Failed password' # 授权过的但是密码不对ssh登录尝试
# cat /var/log/secure | grep 'incorrect password' # 授权过的但是密码不对vsftpd登录尝试

开启了IPv6,IPV4与IPV6冲突导致SSH无法绑定端口

# ifconfig # 看下面是否存在ipv6

SSH配置或者没有开启

# /etc/init.d/sshd status

iptables规则

# iptables -F # 清除预设表filter中所有规则链中的规则。
# iptables -X # 清除预设表filter中使用者自定链中的规则。
# iptables -Z
# service iptables stop #关闭防火墙

selinux开启

# vi /etc/selinux/config
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加

shutdown -r now #重启系统

端口占用

# lsof -i tcp:80 # tcp:22
COMMAND   PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
httpd    1342 apache    3u  IPv6 514672      0t0  TCP *:http (LISTEN)

...

# pkill http #或者 kill -9 1342

内存耗光

# free -m
             total       used       free     shared    buffers     cached
Mem:          5961       5414        547          0        752       3850
-/+ buffers/cache:        811       5150
Swap:         1992         52       1939

# cat /var/log/message | grep "out of memory" 

CPU

# top

主要是看进程的cpu/占用内存/运行时间,当然也可以看内存使用以及负载等.

负载

# uptime 
12:40:11 up  2:47,  1 users,  load average: 0.04, 0.03, 0.08

当然,现在的负载小多了,当时的负载我记得是在16点几.

问题出现后的操作

  • 重启服务器

  • 连接ssh, 检测...

  • 停止httpd,vsftpd,mysql等服务.

  • 分析http错误日志,发现大量mod_pagespeed错误提示.

  • 关闭mod_pagespeed, 保存错误日志后清空错误日志文件

  • 重启httpd, 继续查看http错误日志

  • 正常

初步原因

服务器内存耗光,apache进程导致cpu飙升到100%

深度原因

mod_pagespeed在更新后自动打开了,在老网站生成缓存的时候出错了.
但是这个操作几乎无限进行,结果瞬间生成了大量的错误日志写入到了http错误日志中,
大量的写操作导致宕机

当然,至于为什么mod_pagespeed会出现这种问题,继续寻找中...

EOF

© 著作权归作者所有

共有 人打赏支持
__都非拉得
粉丝 1
博文 8
码字总数 2268
作品 0
朝阳
程序员
私信 提问
实例的网络联通性问题

这是偶然发现的问题,设置好网桥后,发现重启服务器后实例的状态可以自动恢复到重启前,于是各种高兴,但是却发现了实例的网络联通性问题。 前面提到过,控制节点上nova-network运行后,会将...

长平狐
2012/08/24
54
0
无法连接服务器,所有服务无法访问

最近服务器总是无法连接上,能ping通,服务器上的所有服务都无法访问,但过一会又可以访问,当正在服务器上时,也发生这种情况,所有服务都无法访问但正在连接的ssh不会掉,另外开启又无法连...

joeluo
2011/07/18
5.3K
12
关于昨天出国骨干网络的问题

昨天 10:15 左右。我正在对位于香港的 Linux 服务器进行维护,首先发现其中一台香港服务器的 SVN客户端 无法连接到位于广州机房的服务器。 当时使用 ping 命令进行检测,相当正常,延时跟平常...

范堡
2012/04/13
1K
10
故障公告:Linux 内核故障导致网站宕机近 1 个小时

今天晚上 7 点二十几分时 OSChina 社区网站无法访问,具体表现是服务器可以 ping 通,但是无法通过 ssh 远程连接,显示连接被拒绝。 联系机房人员接上显示器发现屏幕上不断出现一行行的字母数...

红薯
07/25
0
0
nginx服务器能ping通,访问不了的解决办法

整了老半天,以为是nginx的配置问题,好! 没想到自己错了。 反思,能连接,但是不能访问端口,应该是防火墙的问题。 ufw status 只有TCP 25 好,添加: sudo ufw allow 80, 测试,一切ok了...

twins
2012/05/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

solr使用规范

0. 目的 规范solr设计、用法,避免bug,提高性能 1. 设计规范 solr的用途是查询,不是存储,建议查询结果尽量都为id主键,而后再拿该id主键到缓存或者db中再查询相关信息,例如:请勿将经销商...

andersChow
8分钟前
0
0
11-《深度拆解JVM》之Java对象的内存布局

一、问题引入 在 Java 程序中,我们拥有多种新建对象的方式。除了最为常见的 new 语句之外,我们还可以通过反射机制、Object.clone 方法、反序列化以及 Unsafe.allocateInstance 方法来新建对...

飞鱼说编程
12分钟前
0
0
Windows Install Docker

win7、win8 win7、win8 等需要利用 docker toolbox 来安装,国内可以使用阿里云的镜像来下载,下载地址:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ docker toolbox...

linuxprobe16
17分钟前
0
0
混合云环境中扩展Kubernetes的挑战及方案

流量突增时,我们需要扩展应用程序以满足用户需求。本文分享了扩展Kubernetes以及管理混合云环境时可能遇到的挑战,以及如何简单高效地完成Kubernetes扩展。 引 言 假设您的业务是在线的:您...

RancherLabs
25分钟前
0
0
Java集合小抄

Java集合小抄 1. List 1.1 ArrayList 以数组实现。节约空间,但是数组有容量限制。超出限制时会增加50%容量,用System.arraycopy()复制到新的数组。因此最好能给出数组大小的预估值。默认第一...

傅小水water
32分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部