ElasticSearch、Logstash管理和监控——blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]

2019/11/07 09:56
阅读数 3

 

1、某一天出现Kafka堆积大量未消费的记录:

 

 

2、该主题是用logstash进行消费的,然后查询logstash的日志(logstash/logs/logstash-plain.log),出现以下提示信息:

 

 

3、从上述日志可以看出,是输出到elasticsearch阻塞了,原因是相应的索引变成read-only了,无法写入数据,随即查询elasticSearch的监控状态,发现3个节点的disk都满了(下图有2个是我清空后截图的):

 

 

4、最后查找到,是因为磁盘满了,所以变成了read-only了,导致无法写入数据,最终导致kafka出现大量积压未消费的记录。

 

解决方案:

5、在kibana中,通过命令设置read_only_allow_delete属性为false。

 

 

6、在看logstash的日志,发现已经没有那个错误,可以正常消费kafka了。

 

 

 

  

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部