文档章节

logstash 收集 apache 日志

MrYx3en
 MrYx3en
发布于 2015/08/25 16:02
字数 271
阅读 249
收藏 0

Logstash


使用logstash收集apache日志

apache日志的格式:

83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png
HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel
Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"


1、input { }

input {
    file {
        path => '/var/log/apache.log'
        start_position => 'beginning'
    }
}

2、filter { }

使用 '%{COMBINEDAPACHELOG}' grok 模式:

filter {
    grok {
        match => {"message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => 'clientip'
    }
    date {
        match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
    }
}

 IP Address --> clientip    User ID  -->ident      User Authentication -->auth    timestamp-->timestamp

HTTP Verb --> verb    Request body --> request    HTTP Version --> httpversion    Http Status Code -->response    Bytes served --> bytes    Referrer URL --> referrer     User Agent -- > agent

经过grok处理后的,具有如下JSON格式:

{
"clientip" : "83.149.9.216",
"ident" : ,
"auth" : ,
"timestamp" : "04/Jan/2015:05:13:42 +0000",
"verb" : "GET",
"request" : "/presentations/logstash-monitorama-2013/images/kibana-search.png",
"httpversion" : "HTTP/1.1",
"response" : "200",
"bytes" : "203023",
"referrer" : "http://semicomplete.com/presentations/logstash-monitorama-2013/",
"agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"
}

3、output { }

output {
    elasticsearch {
        protocol => 'http'
    }
    stdout {}
}

使用如下命令去验证你的配置:

bin/logstash -f logstash.conf --configtest

如果验证没有问题,使用如下命令启动logstash:

bin/logstash -f logstash.conf

使用基于grok的字段在ES里面查询:

curl -XGET 'curl -XGET 'localhost:9200/logstash-2015.08.25/_search?q=geoip.city_name=Beijing'


© 著作权归作者所有

共有 人打赏支持
下一篇: 本机IP
MrYx3en
粉丝 10
博文 131
码字总数 30542
作品 0
宝鸡
系统管理员
私信 提问
日志分析(一)框架选择

概要 日志分析,有两个主要模块日志收集以及分析统计。日志收集主要实现日志数据源的获取。分析统计是对数据源的聚合和统计分析。 日志收集又分为离线收集和热数据收集:离线收集的日志收集服...

venuser
2015/12/11
353
0
ELK 日志分析系统详解

大纲: 一、简介(引用http://467754239.blog.51cto.com) 二、Logstash 三、Elasticsearch 四、Kinaba 五、Redis+logback 一、简介 1、核心组成 ELK由Elasticsearch、Logstash和Kibana三部分组...

冰心无影
2017/04/24
0
0
在ELK+Filebeat搭建日志中心

当前环境 系统:centos7 docker 1.12.1 介绍 ElasticSearch Elasticsearch 是一个实时的分布式搜索和分析引擎,它可以用于全文搜索,结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache...

禁区铁铍人
2017/12/01
0
0
分布式日志收集套件-ELK

一。 ELK介绍 ELK 是elastic公司提供的一套完整的日志收集、展示解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES,它是一个实时的分布式...

liaomin416100569
2017/12/13
0
0
Apache Kafka 的日志收集代理--Logkafka

logkafka是一个日志收集代理,可以按行收集日志文件并发送到kafka 0.8,每行为一条消息。 在生产环境部署之前请查看一下FAQ。 特性 通过zookeeper来管理日志收集相关配置 支持包含时间格式的...

匿名
2016/08/11
3.5K
0

没有更多内容

加载失败,请刷新页面

加载更多

学习设计模式之路

https://java-design-patterns.com/patterns/ https://www.oodesign.com/ https://www.programering.com/a/MTNxAzMwATY.html https://design-patterns.readthedocs.io/zh_CN/latest/ https:/......

晨猫
今天
1
0
JDK1.8 jar包说明

JDK 1.8 lib:access-bridge-64.jarcharsets.jarcldrdata.jardeploy.jardnsns.jarjaccess.jarjavawa.jarjce.jarjfr.jarjfxrt.jarjfxswt.jarjsse.jarlocaledata.jar......

冷基
今天
1
0
判断用户的icloud是否开启【Swift4.2】

使用icloudkit存储用户私人数据时,必须判断用户的icloud是否开启【Swift4.2】 func isICloudContainerAvailable()-> Bool { if FileManager.default.ubiquityIdentityToken != ni......

叶落花开
今天
1
0
今天的学习

1、执行git add *命令就把改动提交到了暂存区,执行git pull命令将远程仓库的数据拉到当前分支并合并,执行git checkout [branch-name]切换分支 2、执行git commit -m '说明' 命令就把改动提...

墨冥
昨天
0
0
Android4.4 及以下TextView,Button等控件使用矢量图报错

1 问题描述 最近项目开发中,图标资源我尽量使用了矢量图,然而配置了基本的兼容设置,程序在低版本中运行还是出现了问题。 xml布局文件中,在TextView中使用矢量图,比如android:drawableS...

newtrek
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部