博客专区 > 翟志军的博客 > 博客详情
如何在半小时搭建一个简单的日志分析平台?
翟志军 发表于9个月前
如何在半小时搭建一个简单的日志分析平台?
  • 发表于 9个月前
  • 阅读 9828
  • 收藏 328
  • 点赞 15
  • 评论 11

IBM Bluemix免费试用!>>>   

摘要: 最好了解下Ansible和Vagrant
共有 人打赏支持
翟志军
粉丝 335
博文 75
码字总数 79851
作品 2
评论 (11)
成熟的毛毛虫
一定要用Openresty吗?
曾经的十字镐
其实日志收集有多种方式,你讲的这种方式,也不是很轻量级,我觉得对于一般的公司,日志1天远远达不到1G,顶多有个百十来MB,其实用shell就可以搞定,当然你也可以结合Flume放到Mongodb当中或是ES当中,后期可以使用Echarts这样的图标工具显示,也是比较方便的。
翟志军

引用来自“成熟的毛毛虫”的评论

一定要用Openresty吗?
不一定。还没有调研。
jeffsui
图是什么画的?
12叔
docker 更快点 3分钟吧
翟志军

引用来自“jeffsui”的评论

图是什么画的?

回复@jeffsui : 画图神器: Keynote
快乐起航2020
不懂啊
雨翔河
点赞
gloomyzerg
这里有一个问题,logstash从每台机器收集日志到es中间最好再加一个队列,如redis。否则日后如果需要处理日志,比如修改格式或者分别倒入到es和其他某地方做处理的时候会很麻烦,及时你是用ansible批量处理logstash的配置。很多刚开始使用的elk的很容易掉这个坑
gloomyzerg

引用来自“曾经的十字镐”的评论

其实日志收集有多种方式,你讲的这种方式,也不是很轻量级,我觉得对于一般的公司,日志1天远远达不到1G,顶多有个百十来MB,其实用shell就可以搞定,当然你也可以结合Flume放到Mongodb当中或是ES当中,后期可以使用Echarts这样的图标工具显示,也是比较方便的。

百十来M的日志最好就别用日志收集了,用个计划任务scp到一个地方合并一下就行了,再导入其他工具
翟志军

引用来自“gloomyzerg”的评论

这里有一个问题,logstash从每台机器收集日志到es中间最好再加一个队列,如redis。否则日后如果需要处理日志,比如修改格式或者分别倒入到es和其他某地方做处理的时候会很麻烦,及时你是用ansible批量处理logstash的配置。很多刚开始使用的elk的很容易掉这个坑

我知道要用redis做缓冲啊。而修改格式问题,只要在logstash处理时加上日志版本就好了。不过好像现在用beats是趋势
×
翟志军
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: