文档章节

Logstash日志采集分析工具

李朝强
 李朝强
发布于 2018/09/29 17:59
字数 691
阅读 149
收藏 5

ELK(ElasticSearch、Logstash、Kibana )的组合,是一种比较常见的数据采集分析进行可视化展示的技术方案,这里重点展示介绍下logstash的用法。

借用官方的介绍:https://www.elastic.co/cn/products/logstash

logstash

集中、转换和存储数据

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。

下面,用一个比较直接的图形,表示其功能和关系。

简单的汇总logstash的工作流程:输入->过滤->输出

 

1、输入过程:

采集各种样式、大小和来源的数据

数据往往以各种各样的形式,或分散或集中地存在于很多系统中。 Logstash 支持各种输入选择 ,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据

 

2、过滤

实时解析和转换数据

数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

  • 利用 Grok 从非结构化数据中派生出结构
  • 从 IP 地址破译出地理坐标
  • 将 PII 数据匿名化,完全排除敏感字段
  • 简化整体处理,不受数据源、格式或架构的影响

我们的过滤器库丰富多样,拥有无限可能。

输出:

选择您的存储库,导出您的数据

尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。

Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。

 

另外,logstash是基于java开发的,jdk1.8以上即可。另外,提供了丰富的插件,研发人员,也可以开发自己的插件。用官方的话,有了

插件,就让服务有无数的可能。

接下来,我将会对目前的各个服务的Nginx日志进行采集分析,然后进行可是化展示。这些工作,就要借助于ELK的组合了。

 

 

 

© 著作权归作者所有

李朝强
粉丝 93
博文 303
码字总数 154818
作品 0
郑州
产品经理
私信 提问
加载中

评论(0)

Linux的企业-ELK日志分析

一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组件组成; Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,...

一百个小排
2017/11/07
0
0
ELK 架构之 Logstash 和 Filebeat 安装配置

上一篇:ELK 架构之 Elasticsearch 和 Kibana 安装配置 阅读目录: 1. 环境准备 2. 安装 Logstash 3. 配置 Logstash 4. Logstash 采集的日志数据,在 Kibana 中显示 5. 安装配置 Filebeat 6...

田园里的蟋蟀
2018/05/16
0
0
Docker安装部署ELK教程(Elasticsearch+Kibana+Logstash+Filebeat)

Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 Logstash 是一个完全开源的工具...

Ruthless
2019/12/27
0
0
使用EKL(Elasticsearch、Kibana、Logstash)进行服务器日志的汇聚与监控

一、前言 本文主要介绍了使用工具Elasticsearch、Kibana和Logstash(配合Logstash Forwarder)对服务器的各种日志文件,如nginx的log、系统的各种log、mysql的slow log等进行汇聚并存储,并进...

swingcoder
2015/11/02
2.1K
0
建设DevOps统一运维监控平台,先从日志监控说起

前言 随着Devops、云计算、微服务、容器等理念的逐步落地和大力发展,机器越来越多,应用越来越多,服务越来越微,应用运行基础环境越来多样化,容器、虚拟机、物理机不一而足。 面对动辄几百...

stars永恒
2018/04/26
172
0

没有更多内容

加载失败,请刷新页面

加载更多

网站变灰

平时到哀悼日的时候,我们看到很多知名网站都变成灰色了 只需要加下面的样式即可 html { filter: url(“data:image/svg+xml;utf8,<svg xmlns=\’http://www.w3.org/2000/svg\’><filter id=\...

三蹦子
12分钟前
16
0
网站首页蒙灰CSS样式

每次全国哀悼日,各大网站首页都变成了灰色,添加以下全局CSS样式,可以实现此效果: html,html *{  filter:gray!important;  filter:progid:DXImageTransform.Microsoft.BasicImage(...

达时索
18分钟前
35
0
1.NET Core 概述

.NET Core 概述 .NET Core是一个免费的、开源的、跨平台的、广泛使用的Web框架;它是由微软维护的。社区广泛参与支持的一个框架。.NET Core可以运行在:Windows、MacOS以及Linux操作系统上。...

osc_8j0twt2u
26分钟前
28
0
2.ASP.NET Core概述

ASP.NETCore概述 ASP.NET Core是最新的ASP.NET Web开发框架,它主要定向于运行在.NET Core平台上。 ASP.NET Core是免费的、开源的、跨平台的框架,可以用于编写基于云的应用程序,例如:Web...

osc_oa6qrgun
27分钟前
36
0
计算与软件工程作业三

作业要求 https://edu.cnblogs.com/campus/jssf/infor_computation17-31/homework/10454 我在这个课程的目标是 掌握软件开发知识,自己设计简单的程序,发布并维护 此作业在哪个具体方面帮我...

osc_kl6fknqf
27分钟前
49
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部