文档章节

服务器能ping通,但是ssh,http无法连接

__都非拉得
 __都非拉得
发布于 2014/10/10 01:24
字数 622
阅读 463
收藏 0

宕机分析报告

描述

服务器宕机, 网络能ping通,但是ssh,http无法连接. 宕机时间从8:57:32到9:54:34 CentOS 5.4 x64 2014-9-26 8:57:32

问题出现之前的操作

对服务器操作系统进行了更新 ( CentOS 5.10 Final x64 )

判断可能原因

ssh vsftpd 暴力破解

# cat /var/log/secure | grep 'Invalid user' # 不存在跟没有认证的用户的ssh登录尝试
# cat /var/log/secure | grep -v invalid | grep 'Failed password' # 授权过的但是密码不对ssh登录尝试
# cat /var/log/secure | grep 'incorrect password' # 授权过的但是密码不对vsftpd登录尝试

开启了IPv6,IPV4与IPV6冲突导致SSH无法绑定端口

# ifconfig # 看下面是否存在ipv6

SSH配置或者没有开启

# /etc/init.d/sshd status

iptables规则

# iptables -F # 清除预设表filter中所有规则链中的规则。
# iptables -X # 清除预设表filter中使用者自定链中的规则。
# iptables -Z
# service iptables stop #关闭防火墙

selinux开启

# vi /etc/selinux/config
#SELINUX=enforcing #注释掉
#SELINUXTYPE=targeted #注释掉
SELINUX=disabled #增加

shutdown -r now #重启系统

端口占用

# lsof -i tcp:80 # tcp:22
COMMAND   PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
httpd    1342 apache    3u  IPv6 514672      0t0  TCP *:http (LISTEN)

...

# pkill http #或者 kill -9 1342

内存耗光

# free -m
             total       used       free     shared    buffers     cached
Mem:          5961       5414        547          0        752       3850
-/+ buffers/cache:        811       5150
Swap:         1992         52       1939

# cat /var/log/message | grep "out of memory" 

CPU

# top

主要是看进程的cpu/占用内存/运行时间,当然也可以看内存使用以及负载等.

负载

# uptime 
12:40:11 up  2:47,  1 users,  load average: 0.04, 0.03, 0.08

当然,现在的负载小多了,当时的负载我记得是在16点几.

问题出现后的操作

  • 重启服务器

  • 连接ssh, 检测...

  • 停止httpd,vsftpd,mysql等服务.

  • 分析http错误日志,发现大量mod_pagespeed错误提示.

  • 关闭mod_pagespeed, 保存错误日志后清空错误日志文件

  • 重启httpd, 继续查看http错误日志

  • 正常

初步原因

服务器内存耗光,apache进程导致cpu飙升到100%

深度原因

mod_pagespeed在更新后自动打开了,在老网站生成缓存的时候出错了.
但是这个操作几乎无限进行,结果瞬间生成了大量的错误日志写入到了http错误日志中,
大量的写操作导致宕机

当然,至于为什么mod_pagespeed会出现这种问题,继续寻找中...

EOF

© 著作权归作者所有

共有 人打赏支持
__都非拉得
粉丝 1
博文 8
码字总数 2268
作品 0
朝阳
程序员
实例的网络联通性问题

这是偶然发现的问题,设置好网桥后,发现重启服务器后实例的状态可以自动恢复到重启前,于是各种高兴,但是却发现了实例的网络联通性问题。 前面提到过,控制节点上nova-network运行后,会将...

长平狐
2012/08/24
54
0
无法连接服务器,所有服务无法访问

最近服务器总是无法连接上,能ping通,服务器上的所有服务都无法访问,但过一会又可以访问,当正在服务器上时,也发生这种情况,所有服务都无法访问但正在连接的ssh不会掉,另外开启又无法连...

joeluo
2011/07/18
5.3K
12
故障公告:Linux 内核故障导致网站宕机近 1 个小时

今天晚上 7 点二十几分时 OSChina 社区网站无法访问,具体表现是服务器可以 ping 通,但是无法通过 ssh 远程连接,显示连接被拒绝。 联系机房人员接上显示器发现屏幕上不断出现一行行的字母数...

红薯
07/25
0
0
关于昨天出国骨干网络的问题

昨天 10:15 左右。我正在对位于香港的 Linux 服务器进行维护,首先发现其中一台香港服务器的 SVN客户端 无法连接到位于广州机房的服务器。 当时使用 ping 命令进行检测,相当正常,延时跟平常...

范堡
2012/04/13
1K
10
nginx服务器能ping通,访问不了的解决办法

整了老半天,以为是nginx的配置问题,好! 没想到自己错了。 反思,能连接,但是不能访问端口,应该是防火墙的问题。 ufw status 只有TCP 25 好,添加: sudo ufw allow 80, 测试,一切ok了...

twins
2012/05/30
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

(三)Nginx配置·续

概述 前文写了关于Nginx环境配置,但是还没有完,接下来将会继续讲三个相关的配置 主要是以下三个 1.Nginx访问日志 2.Nginx日志切割 3.静态文件不记录日志和过期时间 Nginx访问日志 1.先看看...

杉下
今天
1
0
jquery创建类似于java的map

var map = {}; // Map map = new HashMap(); map[key] = value; // map.put(key, value); var value = map[key]; // Object value = map.get(key); var has = key in map; // boolean has = ......

SuperDabai
今天
0
0
java大数据转换16进制转10进制

public static void main(String[] args) {String hex = "0xdbf3accc683297cf0000";BigInteger amount = new BigInteger(hex.substring(2), 16);System.out.println(amount);......

任梁荣
昨天
2
0
OSChina 周六乱弹 —— 目测我们程序员丁克的几率不大

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @真Skr小机灵鬼儿:8.13分享Jocelyn Pook/Russian Red的单曲《Loving Strangers》 《Loving Strangers》- Jocelyn Pook/Russian Red 手机党少...

小小编辑
昨天
15
4
TypeScript基础入门 - 函数 - 剩余参数

转载 TypeScript基础入门 - 函数 - 剩余参数 项目实践仓库 https://github.com/durban89/typescript_demo.gittag: 1.2.1 为了保证后面的学习演示需要安装下ts-node,这样后面的每个操作都能...

durban
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部