文档章节

[系统架构]分布式日志收集系统

chaun
 chaun
发布于 2016/05/19 14:38
字数 1004
阅读 32
收藏 1


前言

系统一大,就会拆分成多个独立的进程,比如web+wcf/web api等,也就成了分布式系统。

要看一个请求怎么从头到尾走的,就有些困难了,要是进行DEBUG、跟踪,就更加麻烦了,困难程度要视进程多少而定,越多越复杂。

分布式日志收集系统就登场了。

今天介绍一款

全开源日志收集、展示系统 - logstash(基于java)+kibana(基于JRuby, logstash已自带)+ElasticSearch+RabbitMQ

架构图如下

这张图是拷贝来的

    • 里面虽然是Redis,但是没关系,换成RabbitMQ照样行
    • 这个Broker Redis/RabbitMQ去掉实际上也行,只是去掉会会造成高峰时刻拖垮ElasticSearch,此处出现的目的是消峰
    • Shipper Logstash图中有3个,意思是可以有多个,可以分布在不同Server上,无论是windows还是linux系统都可以
    • 看完上面三点,实际上已经对这个架构的扩展性很放心了,平心而论,确实很flex,具体可看http://logstash.net/docs/1.4.2/

 安装方法

略,baidu一下一堆一堆的,注意的地方就一个:Kibana已经在logstash最新版中自带了,不用再去单独下载kibana代码,直接运行logstash web即可

 

正文

 本文采用的logstash input类型为file的输入,既通过检测文本文件的方式进行日志采集(logstash支持很多input,文本文件只是其中一种,具体请看上面的文档url)

我们假设目前日志文件log.txt中存在一行日志记录,比如:

[192.168.1.1][2014-10-22 23:59:00][ERROR][Page1.Page_Load]Null Exception, bal...bal...

此时logstash shipper会根据它的配置文件找到这个log.txt, 然后检测到有一个新行出现了,内容是上面这些,然后它会:

    • 正则匹配
      • 192.168.1.1==>ServerIP
      • 2014-10-22 23:59:00==>EventTime
      • ERROR==>LogLevel
      • Page1.Page_Load==>Method
      • Null Exception, bal...bal...==>MessageBody
      • 哈哈,当然上述匹配法则是需要在配置文件中配置的
    • 发送到后续节点
      • 本篇中,是发送到RabbitMQ节点
      • 哈哈,当然也是需要配置文件中配置好的

RabbitMQ实际上是起到了缓冲消峰的作用

那么RabbitMQ的消息是要给到谁呢?它是logstash indexer,logstash indexer实际上很简单,只是接收MQ中的消息,然后发送到再后端的ES倒排序引擎

然后就到了最后一个Kibana Web查询控制台,开发人员最终是通过这个Kibana查询界面来查询logstash收集来的日志的,下面来说说Kibana

Kibana的数据来源:

ElasticSearch:支持分布式扩展的倒排序搜索引擎,内核基于Lucene

Kibana的查询界面自定义:

可以灵活变换显示的列

可以鼠标圈时间范围(根据时间段来查看日志列表)

可以自动刷新日志列表

可以自定义所监控日志的版本(如:生产系统、UAT系统、开发DEMO)

可以查看某段时间段内某字段的饼图等统计图

可以灵活排序

可以定义列的显示前后位置

可以定义列是否显示

上一张图看看样子吧

 

整个收集系统的搭建,除了logstash这一套组件的搭建外,还需要关注的地方是日志文件保存的格式,就是上面包含有中括号的那种一行一行的记录是以什么格式保存,因为这个格式会对应logstash参数的解析,而logstash参数的名称会映射到kibana的查询界面中。

 

在程序这边,需要关注的是用统一的日志记录函数来记录,这样文本文件内容的格式就保证了,整个闭环就形成了。

 

具体的配置方式,大家可以加入一些logstash的qq群,或者看本文开头提供的文档链接。

 

DONE.

本文转载自:http://blog.csdn.net/erlib/article/details/40780715

共有 人打赏支持
chaun
粉丝 91
博文 269
码字总数 91059
作品 0
深圳
高级程序员
私信 提问
分布式实时日志分析解决方案 ELK 部署架构

原文出处:FEINIK 一、概述 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Beats、Logstash、Elasticsearch、Kibana等组件组成,来共同完成实时日志的收集,存储,展示等一站式的解...

FEINIK
2017/12/30
0
0
分布式跟踪系统-cicada

https://github.com/Yirendai/cicada/blob/master/cicada-docs/cicadadesign.md 背景与目标 面对日趋复杂的分布式系统,如服务框架、消息中间件、缓存、数据层等,我司在业务性能瓶颈定位、故...

tantexian
2016/11/02
547
1
分布式调用跟踪系统调研笔记

分布式调用链跟踪系统通常有几个设计目标 低侵入性 -- 作为非业务组件,应当尽可能少侵入或者无侵入其他业务系统,对于使用方透明,减少开发人员的负担; 灵活的应用策略 -- 可以(最好随时)...

ginobefun
2017/05/25
0
0
日志分析(一)框架选择

概要 日志分析,有两个主要模块日志收集以及分析统计。日志收集主要实现日志数据源的获取。分析统计是对数据源的聚合和统计分析。 日志收集又分为离线收集和热数据收集:离线收集的日志收集服...

venuser
2015/12/11
353
0
使用ELK构建微服务的日志平台

1 概述 在微服务架构中,会部署众多的应用,其中有基础应用,比如:网关,服务发现等。同时还有大量的业务应用。所以,如何有效的收集它们的日志,并且方便查询,同时提供友好的可视化展示,...

Java大蜗牛
08/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Vue- 对象语法 v-bind:class与对象语法的使用

我们可以传给 v-bind:class 一个对象,以动态地切换 class 。 <div v-bind:class="{ active: isActive }"></div>//对象语法也就是在v-bind:class绑定一个对象的时候,里面的值将影响最终取值...

文文1
3分钟前
0
0
epoll中使用

1、一个线程epoll_wait时,另一个线程调用epoll_ctl是安全的。 2、使用edge触发,在socket有数据到来后,不收取数据,再次调用epoll_ctl将socket加入,仍会触发下一次动作。 asio用该方法来发...

gelare
30分钟前
1
0
PHP规范PSR2

PSR标准 - PSR-2 为了尽可能的提升阅读其他人代码时的效率,下面例举了一系列的通用规则,特别是有关于PHP代码风格的。 各个成员项目间的共性组成了这组代码规范。当开发者们在多个项目中合作...

geek土拨鼠
46分钟前
5
0
【极简】如何在服务器上安装SSL证书?

本文适合任何人了解,图形化操作。下面以腾讯云为例,并且服务器(linux)也安装了宝塔面板。 1.登陆腾讯云账号进入控制台,找到SSL的产品 2.按要求申请并填写表单,记住私钥密码 3.提交后,待...

皇冠小丑
54分钟前
1
0
深入理解编译器

深入理解编译器 原文出处 欢迎向Rust中文社区投稿,投稿地址,好文将在以下地方直接展示 1 Rust中文社区首页 2 Rust中文社区Rust文章栏目 3 知乎专栏Rust语言 编程语言是如何工作的 从内部理解...

krircc
56分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部