文档章节

采用 Logstash 采集 tomcat access 日志和应用程序日志

w
 walle-Liao
发布于 2016/04/30 20:01
字数 830
阅读 6142
收藏 22

Logstash 的安装

Logstash 的安装非常简单,直接官网下载对应的版本(需要和 Elasticsearch 的版本匹配)解压缩即可

# tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/

# mv logstash-2.3.2/ logstash

测试启动

# cd logstash/

# cd bin/

# ./logstash -e 'input { stdin { } } output { stdout {} }'

采集tomcat的access日志

安装tomcat并且部署示例程序war(spring-mvc-showcase.war),其中示例程序 spring-mvc-showcase.war 可以到 spring mvc 官网下载,启动 tomcat 并且访问示例程序,产生部分日志

启动 Logstash 日志采集

# ./bin/logstash -f ./conf-logstash/access-log.conf  # -f 后面指定的是配置文件

查看 Elasticsearch head 插件查看,发现已经自动创建了 tomcat_access index,并且导入了数据

这里详细介绍下 Logstash 的配置文件 /conf-logstash/access-log.conf

其内容如下

input {
    file {
        path => "/usr/local/tomcat8/logs/localhost_access_log.2016-04-30.txt"
        start_position => "beginning"
    }
}

filter {
  grok {
        patterns_dir => "/usr/local/elk/logstash-patterns"
        match => {
            "message" => "%{ACCESSLOG}"
        }
  }
}


output {
    elasticsearch {
      hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
        index => "tomcat_access"
    }
}

通常 Logstash 的一个配置文件含 input{},filter{},output{} 三部分,该三部分的作用也很好理解,一个配置输入源,一个配置过滤规则,一个配置输出;其每个部分又可以配置各种不同的插件,所有插件的说明请参考官网文档的说明

这里配置的 filter grok 插件说明如下

patterns_dir => "/usr/local/elk/logstash-patterns"

指明 grok 插件使用的正则表达式存放的目录,本次实验该目录下存放了一个文件 j2ee,其内容如下

JAVACLASS (?:[a-zA-Z$_][a-zA-Z$_0-9]*\.)*[a-zA-Z$_][a-zA-Z$_0-9]*
#Space is an allowed character to match special cases like 'Native Method' or 'Unknown Source'
JAVAFILE (?:[A-Za-z0-9_. -]+)
#Allow special <init> method
JAVAMETHOD (?:(<init>)|[a-zA-Z$_][a-zA-Z$_0-9]*)
#Line number is optional in special cases 'Native method' or 'Unknown source'
JAVASTACKTRACEPART %{SPACE}at %{JAVACLASS:class}\.%{JAVAMETHOD:method}\(%{JAVAFILE:file}(?::%{NUMBER:line})?\)
# Java Logs
JAVATHREAD (?:[A-Z]{2}-Processor[\d]+)
JAVACLASS (?:[a-zA-Z0-9-]+\.)+[A-Za-z0-9$]+
JAVAFILE (?:[A-Za-z0-9_.-]+)
JAVASTACKTRACEPART at %{JAVACLASS:class}\.%{WORD:method}\(%{JAVAFILE:file}:%{NUMBER:line}\)
JAVALOGMESSAGE (.*)
# MMM dd, yyyy HH:mm:ss eg: Jan 9, 2014 7:13:13 AM
CATALINA_DATESTAMP %{MONTH} %{MONTHDAY}, 20%{YEAR} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) (?:AM|PM)
# yyyy-MM-dd HH:mm:ss,SSS ZZZ eg: 2014-01-09 17:32:25,527 -0800
TOMCAT_DATESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:?%{MINUTE}(?::?%{SECOND}) %{ISO8601_TIMEZONE}
CATALINALOG %{CATALINA_DATESTAMP:timestamp} %{JAVACLASS:class} %{JAVALOGMESSAGE:logmessage}
# 2014-01-09 20:03:28,269 -0800 | ERROR | com.example.service.ExampleService - something compeletely unexpected happened...
TOMCATLOG %{TOMCAT_DATESTAMP:timestamp} \| %{LOGLEVEL:level} \| %{JAVACLASS:class} - %{JAVALOGMESSAGE:logmessage}

# 2016-04-10 07:19:16-|INFO|-Root WebApplicationContext: initialization started
MYTIMESTAMP 20%{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:%{MINUTE}:%{SECOND}
MYLOG %{MYTIMESTAMP:mytimestamp}-\|%{LOGLEVEL:level}\|-%{JAVALOGMESSAGE:logmsg}

ACCESSIP (?:[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})
ACCESSTIMESTAMP %{MONTHDAY}\/%{MONTH}\/20%{YEAR}:%{HOUR}:%{MINUTE}:%{SECOND} %{ISO8601_TIMEZONE}
HTTPMETHOD (GET|POST|PUT|DELETE)
PRJNAME ([^\s]*)
HTTPVERSION (https?\/[0-9]{1}\.[0-9]{1})
STATUSCODE ([0-9]{3})
# 192.168.1.101 - - [10/Apr/2016:08:31:34 +0800] "GET /spring-mvc-showcase HTTP/1.1" 302 -
ACCESSLOG %{ACCESSIP:accIP}\s-\s\-\s\[%{ACCESSTIMESTAMP:accstamp}\]\s"%{HTTPMETHOD:method}\s\/%{PRJNAME:prjName}\s%{JAVALOGMESSAGE:statusCode}

        match => {
            "message" => "%{ACCESSLOG}"  # 这里使用的 ACCESSLOG 就是在 /usr/local/elk/logstash-patterns 这个目录下的上面这个文件中配置的
        }

Logstash 官网提供了很多可以拿来即用的正则表达式,详细请参考 github 项目

https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns


采集 tomcat 应用程序日志

# ./bin/logstash -f ./conf-logstash/tomcat-log.conf

conf-logstash/tomcat-log.conf 内容如下

input {
    file {
		codec => multiline {
			 pattern => "^\s"
			 what => "previous"
		}
        path => "/usr/local/tomcat8/logs/catalina.out"
        start_position => "beginning"
    }
}

filter {
  grok {
        patterns_dir => "/usr/local/elk/logstash-patterns"
        match => {
            "message" => "%{MYLOG}"
        }
        add_field => [ "log_ip", "192.168.1.81" ]
  }
 
}

output {
    elasticsearch {
      hosts => ["192.168.1.81","192.168.1.82","192.168.1.83"]
        index => "tomcat"
    }
}


© 著作权归作者所有

w
粉丝 3
博文 15
码字总数 15775
作品 0
深圳
私信 提问
加载中

评论(1)

zzuqiang
zzuqiang
你操作系统是什么版本,logstash
全栈必备 Log日志

Log日志,不论对开发者自身,还是对软件系统乃至产品服务都是非常重要的事情。每个开发者都接触过日志,以至于每个人对日志的了解都会有所不同。 什么是日志 日志是什么呢?老码农看来,日志...

wireless_com
2017/06/12
0
0
Logstash收集Tomcat集群日志的解决方案

场景描述:一个Web应用,前端设置了8个具有相同配置的Tomcat服务器,跑在Nginx反向代理后。每个Tomcat服务器运行在一个虚拟机上,要求能对Tomcat服务器的访问日志汇总存储并提供一定的分析能...

go2school
2016/05/30
2.9K
2
ELK日志处理之Filebeat工作原理

一、Filebeat简介 Beats是Elastic Stack技术栈中轻量级的日志采集器,Beats家族包括以下五个成员: Filebeat:轻量级的日志采集器,可用于收集文件数据。 Metricbeat:5.0版本之前名为Topbeat...

napoay
2017/04/18
0
0
logstash 过虑nginx访问日志

标题是不是可以翻译成这样:logstash Filters nginx access log 好了,进入正题,日志管理服务器我用ElasticSearch+LogStash+Kibana+Redis 先说下我的架构: 远程NGINX采集日志数据到REDIS+l...

科技小能手
2017/11/12
0
0
Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统

前言: 随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理...

小柒2012
2016/03/02
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

Linux输入法fcitx的安装问题

Fcitx 总共要安装的包如下 fcitxfcitx-binfcitx-config-commonfcitx-config-gtk | fcitx-config-gtk2fcitx-datafcitx-frontend-allfcitx-frontend-gtk2fcitx-frontend-gtk3......

CHONGCHEN
41分钟前
3
0
网络基础

前言: 最近整理一些以前的学习笔记(有部分缺失,会有些乱,日后再补)。 过去都是存储在本地,此次传到网络留待备用。 计算机网络的功能: 1.数据通信; 2.资源共享; 3.增加数据可靠性; 4....

迷失De挣扎
41分钟前
3
0
spring boot升级到spring cloud

1、先升级spring boot 版本到2.1.3 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-dependencies</artifactId> <version>2.1.3.RELEAS......

moon888
44分钟前
10
0
从蓝鲸视角谈DevOps

DevOps源于Development和Operations的组合 常见的定义 DevOps是一种重视“软件开发人员(Dev)”和“IT运维技术人员(Ops)”之间沟通合作的文化、运动或惯例。透过自动化“软件交付”和“架构变...

嘉为科技
47分钟前
1
0
微服务设计 笔记

微服务设计 一、微服务架构理论 1.六边形架构 1)六边形架构(Hexagonal Architecture),又称为端口和适配器架构风格;使用适配器与外界进行交互,外界通过应用层API与内部进行交互。 2)经典...

啃不动地大坚果
55分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部