文档章节

ELK之Logstash简单介绍

吴伟祥
 吴伟祥
发布于 2018/08/13 10:37
字数 642
阅读 47
收藏 1

一、Logstash简介

1、官网地址

  https://www.elastic.co/products/logstash

2、软件介绍

  官方介绍:Logstash is an open source data collection engine with real-time pipelining capabilities。简单来说logstash就是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管道还可以让你根据自己的需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

  Logstash常用于日志关系系统中做日志采集的设备; 
这里写图片描述

3、系统结构

这里写图片描述

  Logstash的事件(logstash将数据流中等每一条数据称之为一个event)处理流水线有三个主要角色完成:inputs –> filters –> outputs:

  • inpust:必须,负责产生事件(Inputs generate events),常用:File、syslog、redis、beats(如:Filebeats)
  • filters:可选,负责数据处理与转换(filters modify them),常用:grok、mutate、drop、clone、geoip
  • outpus:必须,负责数据输出(outputs ship them elsewhere),常用:elasticsearch、file、graphite、statsd

      其中inputs和outputs支持codecs(coder&decoder)在1.3.0 版之前,logstash 只支持纯文本形式输入,然后以过滤器处理它。但现在,我们可以在输入 期处理不同类型的数据,所以完整的数据流程应该是:input | decode | filter | encode | output;codec 的引入,使得 logstash 可以更好更方便的与其他有自定义数据格式的运维产品共存,比如:graphite、fluent、netflow、collectd,以及使用 msgpack、json、edn 等通用数据格式的其他产品等  

4、应用场景

  Logstash最常用于ELK(elasticsearch + logstash + kibane)中作为日志收集器使用

这三个并非该管理系统的全部组
成,而且还可以添加Redis,kafka,filebeat等软件
它们各自的功能大概可以这样概述:

  • E:实时分析、实时检索、海量存储,建立索引,以便日后快速查看、搜索、分析
  • L:数据流传输、日志结构化
  • K:分析统计、酷炫图表

传统的日志架构存在的以下若干缺点:

  • 开发人员无权登录,经过运维周转费时费力
  • 日志数据分散在多个系统,难以查找
  • 日志数据量大,查询速度慢
  • 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据
  • 数据不够实时
  • 应用

本文转载自:https://blog.csdn.net/chenleiking/article/details/73563930

吴伟祥

吴伟祥

粉丝 34
博文 500
码字总数 285677
作品 0
泉州
后端工程师
私信 提问
加载中

评论(0)

小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
2018/07/15
0
0
CentOS下使用ELK套件搭建日志分析和监控平台

1 概述 ELK套件(ELK stack)是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。 由于三个软件各自的版本号太多,建议采用ElasticSearch官网推荐的搭配...

周宇1991
2018/06/29
0
0
基于Docker部署ELK (Elasticsearch, Logstash, Kibana)集中日志处理平台,及在Spring Boot应用

当我们还是单体部署我们的Spring Boot项目的时候,日志通常都是放在我们的Linux服务器目录,使用简单的Spring Boot已经包含的Logback框架即可实现。当我们基于Docker部署我们的分布式或者集群...

ImWiki
2018/05/27
0
0
基于ELK实时日志分析的最佳实践

在2018云栖大会深圳峰会大数据分析与可视化专场上,由阿里巴巴搜索引擎事业部开放搜索团队的吴迪带来了“基于ELK实时日志分析的最佳实践”的主题分享。介绍了传统的日志分析、ELK的概念和ELK...

smile小太阳
2018/05/06
0
0
Logstash迁移Elasticsearch数据方法解读

Elasticsearch中数据搬迁是工程师们经常会做的,有时是为了集群迁移、有时是为了数据备份、有时是为了升级等等,迁移的方式也有很多种,比如说通过elasticsearch-dump、通过snapshot、甚至是...

pcdog
2018/05/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

微服务-(Hystrix应用及原理)

Hystrix 的应用及原理 一.通过配置文件的方式使用hystrix 二.演示断路效果 三.通过图片查询断路流程 四.注解的方式演示hystrix this.metrics = initMetrics(metrics, this.commandGroup, th...

这很耳东先生
32分钟前
73
0
如何将旧Mac的数据迁移到新的MacBook Pro?

最新版的MacBook Pro已经上市,具有超凡魅力的Touch Bar开创了一个新时代。苗条的设计和华丽的显示效果也起到了推动运动的作用……!将数据从旧Mac传输到新Mac不再是一件漫长的事。您只需几个...

mac小叮当
34分钟前
32
0
推荐一款好用的第三方的windows远程管理工具

iis7远程桌面连接工具,又叫做iis7远程桌面管理软件,是一款绿色小巧,功能实用的远程桌面管理工具,其界面简洁,操作便捷,能够同时远程操作多台服务器,并且多台服务器间可以自由切换,适用...

汉美丽
38分钟前
59
0
使用.text()仅检索未嵌套在子标记中的文本

如果我有这样的html: <li id="listItem"> This is some text <span id="firstSpan">First span text</span> <span id="secondSpan">Second span text</span></li> 我正在尝试......

javail
44分钟前
45
0
MySQL调优系列——如何提高MySQL的查询效率

1、对查询进行优化,避免全表扫描,首先应考虑在where及order by涉及的列上建立索引。 2、避免在where子句对字段进行null值判断,否则会导致引擎放弃使用索引而进行全表扫描。 3、应尽量避免...

须臾之余
45分钟前
30
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部