文档章节

ELK6.0日志从收集到处理完整版教程(二)

bz_z
 bz_z
发布于 06/21 15:58
字数 659
阅读 168
收藏 4

ELK简介

Elasticsearch
开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。也可以认为ElasticSearch是一个NoSQL存储中心,可以存储各种数据,并且查询速度超级快。

Logstash
完全开源的工具,可以从各种输入流(文件,队列,数据库)收集信息,并对信息进行处理,将处理后的信息存储到ElasticSearch

kibana
开源和免费的工具,它可以从ElasticSearch读取日志等存储的信息, 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

1.Kibana安装与配置

[elk@server02 elk]# tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz

[root@server02 kibana-6.2.4-linux-x86_64]# ls
bin  config  data  LICENSE.txt  node  node_modules  nohup.log  NOTICE.txt  optimize  package.json  plugins  README.txt  src  ui_framework  webpackShims

配置文件:

[root@server02 config]#  grep "^\s*[^# \t].*$" config/kibana.yml 
server.port: 5601
server.host: 0.0.0.0             #将本机的外网ip地址配置上,这样外网才能访问到
elasticsearch.url: "http://localhost:9200"    ##配置EA的地址,本机使用localhost,可配置ip

启动:

nohup sh ./bin/kibana > nohup.log &
http://192.168.3.113:5601     #验证web页面启动

关闭kibana:ps -ef | grep node   #查看进程,kill -9 

2.LogStash安装与配置

[root@server02 elk]# tar -zxvf logstash-6.2.4.tar.gz
[root@server02 logstash-6.2.4]# cat config/logstash.conf

input {
    beats {
        port => "5043"
    }
}
filter {
    grok {
        match => { "message" => "\[%{IP:ip}\] \[%{TIMESTAMP_ISO8601:timestamp}\] \[%{NOTSPACE:class}\]"}
    }
}
output {
    elasticsearch {
        hosts => [ "http://localhost:9200" ]
    }
}

启动:

[root@server02 logstash-6.2.4]# nohup  bin/logstash -f config/logstash.conf > nohup.log &

3.Filebeat安装与配置

[root@server02 elk]# tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz
filebeat必须属于root用户名下;filebeat.yml中 enable项都由false改为true;

开启收集system系统日志:  ./filebeat modules enable system

过滤配置文件中的注释空格等无用字符只显示生效配置:
[root@server02 filebeat-6.2.4-linux-x86_64]# grep "^\s*[^# \t].*$" filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
  host: "localhost:5601"

#output.elasticsearch:
  #hosts: ["localhost:9200"]
output.logstash:
   hosts: ["localhost:5043"]

启动:
nohup ./filebeat -e -c filebeat.yml -d "Publish" > filebeat.log &

 

 

最后kibana配置:

选择对应需要收集展示的日志类型:如:System,nginx,apache,Redis等

按教程配置filebeat后按System logs dashboard

第一次访问的时候,会要求设置Index Pattern,因为我们在logstash-es.conf中设置为logstash-%{+YYYY-MM},所以设置为logstash-*就可以了。

Discover是主要的查询交互界面,如下所示:

  

© 著作权归作者所有

共有 人打赏支持
bz_z
粉丝 18
博文 61
码字总数 50159
作品 0
广州
运维
私信 提问
ELK6.0日志从收集到处理完整版教程(三)配置文件讲解

FIlebeat 配置文件内容详解: vi filebeat.yml logstash 配置详解: 日志从filebeat 收集到Logstash输出的流程图: Kibana 上边的日志通过logstash 过滤之后取出来在kibana上显示如下:...

bz_z
06/26
0
0
ELK6.0已取消filebeat配置document_type

原文出处:http://blog.51cto.com/kexiaoke/2092029 一、起因  在使用ELK5.5的时候,如果遇到需要在同一台机器上收集不同类型的日志,比如:同时收集一台机器上的java log和nginx log!而又...

kuSorZ
08/14
0
0
这些大数据书籍配合实验操作更爽哦!

我们学习任何一门技术,肯定都会选择一本不错的书籍,我想学大数据也不例外,你会挑选不错的书籍,看书学习。 同时我们也知道光看书是不行的,还需要不断的动手实战练习。 所以不禁会想,有没...

实验楼
2017/12/26
0
0
分布式日志收集套件-ELK

一。 ELK介绍 ELK 是elastic公司提供的一套完整的日志收集、展示解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES,它是一个实时的分布式...

liaomin416100569
2017/12/13
0
0
Filebeat—> Elasitcsearch—> Kibana 搭建日志收集系统

1.为什么需要日志收集 当我们的网站规模大到一定程度时我们的服务分散在不同的主机上,当网站发生异常时我们通常通过这些服务的日志来排查系统故障,由于主机众多日志分散在不同的主机上,导...

顶风走千里
2017/11/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Apache日志不记录访问静态文件,访问日志切割,静态元素过期时间设置

Apache配置不记录访问静态文件的日志 网站大多元素为静态文件,如图片、css、js等,这些元素可以不用记录 vhost原始配置 <VirtualHost *:80> ServerAdmin test@163.com DocumentRoo...

野雪球
32分钟前
0
0
聊聊storm的ICommitterTridentSpout

序 本文主要研究一下storm的ICommitterTridentSpout ICommitterTridentSpout storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java public interface......

go4it
36分钟前
1
0
Ubuntu常用操作

查看端口号 netstat -anp |grep 端口号 查看已使用端口情况 netstat -nultp(此处不用加端口号) netstat -anp |grep 82查看82端口的使用情况 查找被占用的端口: netstat -tln netstat -tl...

hc321
昨天
1
0
网站cdn的静态资源突然访问变的缓慢,问题排查流程

1.首先我查看了一下是否自己的网络问题,通过对比其他资源的访问速度和下载速度,确认不是 2.通过ping 和 tracert 判断cdn域名能否正常访问,(最后回想感觉这一步可以省略,因为每次最终能访...

小海bug
昨天
3
0
Mybatis 学习笔记四 MyBatis-Plus插件

Mybatis 学习笔记四 MyBatis-Plus插件 maven依赖 <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus</artifactId> <ve......

晨猫
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部