文档章节

logstash filter插件

 张欢19933
发布于 2017/05/07 10:33
字数 307
阅读 142
收藏 0

json filter

介绍:如果数据格式是json,那么可以通过它把数据解析成你想要的数据结构

语法格式

filter {
    json {
        add_field=>...            #可选项         #hash          添加属性,默认{}
        add_tag=>...              #可选项         #array          添加标识,默认{}
        remove_field=>...         #可选项         #array         删除属性,默认{}
        remove_tag=>...            #可选项         #array         删除标识,默认{}
        source=>...                #必选项         #string       指定来源数据
        target=>...                #可选项         #string        定义将要解析的目标字段
    }
}

实例1:解析json数据

配置文件

vim conf/filter_json.conf
 input {
     stdin {
         }
     }
 filter {
     json {
         source => "message"
         target => "content"
         }
     }
 output {
         stdout {
             codec=>rubydebug
             }
     }

测试

[root@ELK-STACK logstash-1.5.5]# ./bin/logstash -f conf/filter_json.conf
Logstash startup completed
{"name":"zhai","age":12}       #输入被解析的值
{
       "message" => "{\"name\":\"zhai\",\"age\":12}",
      "@version" => "1",
    "@timestamp" => "2017-02-27T08:31:13.193Z",
          "host" => "0.0.0.0",
       "content" => {
        "name" => "zhai",   #这里就是json字段里的name
         "age" => 12        #这里就是json字段里的age
    }
}

grok filter

介绍

  • grok是目前logstash里最好的一种解析各种非结构化的日志数据的工具
  • grok可以过滤日志中你想要的字段
  • 官方patterns地址:https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
  • 测试grok匹配规则的网址:grokdebug.herokuapp.com

可用参数

filter {
    grok {
        match=>...        #可选项        写匹配规则
    }
}

kv filter

介绍: 通过指定一个分隔符,截取key,value

© 著作权归作者所有

粉丝 47
博文 532
码字总数 244932
作品 0
海淀
私信 提问
本地以Gems包的形式安装Logstash插件

本地以Gems包的形式安装Logstash插件 概述 Logstash的插件都是独立的gem包,因此可以通过从RubyGems.org来下载需要的插件的gem包来安装Logstash插件。RubyGems.org是一个专门用来托管gem包的...

qianghaohao
2018/01/13
0
0
[译]你应该了解的5个 Logstash Filter 插件

原文:5 Logstash Filter Plugins You Need to Know About 译者:neal1991 welcome to star my articles-translator , providing you advanced articles translation. Any suggestion, plea......

neal
2017/10/25
0
0
logstash 安装插件

bin/logstash-plugin install logstash-filter-mutate bin/logstash-plugin install logstash-filter-date bin/logstash-plugin install logstash-filter-grok bin/logstash-plugin install ......

酒瓶不倒
2016/09/06
184
0
[Logstash]使用详解

  Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。   本文针对官方文档进行...

青夜之衫
2017/12/04
0
0
采用 Logstash 采集 tomcat access 日志和应用程序日志

Logstash 的安装 Logstash 的安装非常简单,直接官网下载对应的版本(需要和 Elasticsearch 的版本匹配)解压缩即可 # tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/ # mv logstash-2.3.2...

walle-Liao
2016/04/30
6.3K
1

没有更多内容

加载失败,请刷新页面

加载更多

分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
今天
4
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0
Spring boot 静态资源访问

0. 两个配置 spring.mvc.static-path-patternspring.resources.static-locations 1. application中需要先行的两个配置项 1.1 spring.mvc.static-path-pattern 这个配置项是告诉springboo......

moon888
昨天
4
0
hash slot(虚拟桶)

在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小。 round robin算法:是把数据mod后直接映射...

李朝强
昨天
4
0
Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平...

vivo互联网技术
昨天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部