文档章节

logstash5.4 安装配置

弘_轩
 弘_轩
发布于 2017/05/25 17:09
字数 327
阅读 201
收藏 1

一、下载用yum 安装

二、插件

查看可安装的插件
/usr/share/logstash/bin/logstash-plugin list

安装插件
/usr/share/logstash/bin/logstash-plugin install logstash-filter-date
/usr/share/logstash/bin/logstash-plugin install logstash-patterns-core #定义好的patterns
/usr/share/logstash/bin/logstash-plugin install logstash-filter-grok
/usr/share/logstash/bin/logstash-plugin install logstash-filter-mutate

#input kafka,output elasticsearch 需要的话自己安装

三、编写配置

input {
  udp{
    type => "tcpdump"
    port => 514
  }

  kafka {
    bootstrap_servers => "master200:9092"
    codec => "json"
    topics => ["file_dt"]
    id => "kafka_id"
    group_id => "kafka_gid"
    client_id => "kafka_cli"
    auto_offset_reset => "earliest"
    session_timeout_ms => "80000"
    request_timeout_ms => "810000"
    heartbeat_interval_ms => "1000"
    consumer_threads => 50
    decorate_events => true
  }
}


filter {
  if [type] == "tcpdump" {
    grok {

      match => ["message", "\<%{NUMBER:no}\> \*(?<log_time>%{MONTH:month} %{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}): \%(?<mid>[a-zA-Z0-9_\-]+): %{WORD:client}\(%{CISCOMAC:mac}\) (?<status>[a-zA-Z0-9_\-\s]+)([,.]{1} reason: (?<reason>[a-zA-Z0-9_\-\s]+))?(: ([a-zA-Z0-9_\-\s]+\((?<ap>\w+\d+)\)))?",
                "message", "\<%{NUMBER:no}\> \*(?<log_time>%{MONTH:month} %{MONTHDAY:day} %{HOUR:hour}:%{MINUTE:minute}:%{SECOND:second}): \%(?<mid>[a-zA-Z0-9_\-]+): (?<status>[a-zA-Z0-9_\-\s]+)[,:]? MAC Address:? %{CISCOMAC:mac}, AP Name (?<ap>\w+\d+), base radio MAC(: )?%{CISCOMAC:radiomac}, (IP address: %{IPV4:ip})?(User Name (?<username>[a-zA-Z0-9_\-]+))?, SSID:? (?<ssid>\w+-\w+)"
               ]

    }
    if [mid] == "APMG-6-STA_UPDT" {
      mutate{
        add_field => ["动作", "UPDT"]
      }


    }


    date{
      match => [
        "log_time","MMM dd HH:mm:ss"
               ]
      target => ["log_time110"]
      locale => "en"
      timezone => "Asia/Shanghai"


         }

  }
}



output {

    stdout {
        codec => rubydebug
    }

    if [type] == "file_dt" {
      elasticsearch {
        hosts => ["master200:9200","slave95:9200"]
        index => "kafka-%{type}-%{+YYYYMMdd}"
        document_type => "%{type}"
      }
    }

    else if [type] == "tcpdump" {
      elasticsearch {
        hosts => ["master200:9200","slave95:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        template => "/etc/logstash/conf.d/tcp_template.json"
        template_overwrite => true
        flush_size => 5000
        idle_flush_time => 10
     }
    }


}

四、启动

/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/conf.d/logstash.conf -w 10

五、其他注意

#测试地址:http://grokdebug.herokuapp.com/

#测试配置语法的正确性,使用下面的命令
logstash -f first-pipeline.conf --configtest

 

© 著作权归作者所有

下一篇: spark介绍
弘_轩
粉丝 5
博文 16
码字总数 10368
作品 0
福州
高级程序员
私信 提问
冷川/Linux-Tutorial

Java 程序员眼中的 Linux 初衷(Original Intention) 整理下自己所学 带动更多的人进入 Linux 世界,特别是做 Java 开发的人 Github 项目地址,欢迎 、:https://github.com/judasn/Linux-Tut...

冷川
2016/11/14
0
0
RHEL + Oracle 11g + udev + ASM实验扩展

最近一段时间在刻苦的学习Oracle的体系结构等理论知识,在这里总结一些知识,以及自己在此做个实验扩展巩固最近所学的知识。 实验环境 Redhat Enterprise Linux 6.5 x86_64 IP地址:192.168...

Sound_
2017/05/24
0
0
CentOS-6平台三机编译安装FastCGI模型

LAMP(2)--CentOS-6平台三机编译安装FastCGI模型 要求: (1) 三者分离于三台主机;(编译安装,模块或php-fpm); (2) 一个虚拟主机用于提供phpMyAdmin;另一个虚拟主机用于提供wordpress; (3...

网费
2016/04/26
0
0
centos6.5下使用yum完美搭建LNMP环境(php5.6)

准备工作 配置防火墙,开启80端口、3306端口 删除原有的 iptables , 添加合适的配置 rm -rf /etc/sysconfig/iptablesvi /etc/sysconfig/iptables 添加如下内容 : ##########################...

Elson
2016/12/14
46
0
源码安装lamp

在实际环境中我们经常根据自己所处的公司环境进行配置,适合自己公司的配置。下面我们来介绍如何进行编译安装 安装前提 在CentOS7 系统: 关闭iptables 将selinux设置为disabled apr-1.6.2.ta...

Joah_Li
2017/10/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
700
10
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
39
0
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
25
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
74
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
73
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部