文档章节

ELK6.0日志从收集到处理完整版教程(二)

bz_z
 bz_z
发布于 06/21 15:58
字数 659
阅读 130
收藏 3

ELK简介

Elasticsearch
开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。也可以认为ElasticSearch是一个NoSQL存储中心,可以存储各种数据,并且查询速度超级快。

Logstash
完全开源的工具,可以从各种输入流(文件,队列,数据库)收集信息,并对信息进行处理,将处理后的信息存储到ElasticSearch

kibana
开源和免费的工具,它可以从ElasticSearch读取日志等存储的信息, 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

1.Kibana安装与配置

[elk@server02 elk]# tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz

[root@server02 kibana-6.2.4-linux-x86_64]# ls
bin  config  data  LICENSE.txt  node  node_modules  nohup.log  NOTICE.txt  optimize  package.json  plugins  README.txt  src  ui_framework  webpackShims

配置文件:

[root@server02 config]#  grep "^\s*[^# \t].*$" config/kibana.yml 
server.port: 5601
server.host: 0.0.0.0             #将本机的外网ip地址配置上,这样外网才能访问到
elasticsearch.url: "http://localhost:9200"    ##配置EA的地址,本机使用localhost,可配置ip

启动:

nohup sh ./bin/kibana > nohup.log &
http://192.168.3.113:5601     #验证web页面启动

关闭kibana:ps -ef | grep node   #查看进程,kill -9 

2.LogStash安装与配置

[root@server02 elk]# tar -zxvf logstash-6.2.4.tar.gz
[root@server02 logstash-6.2.4]# cat config/logstash.conf

input {
    beats {
        port => "5043"
    }
}
filter {
    grok {
        match => { "message" => "\[%{IP:ip}\] \[%{TIMESTAMP_ISO8601:timestamp}\] \[%{NOTSPACE:class}\]"}
    }
}
output {
    elasticsearch {
        hosts => [ "http://localhost:9200" ]
    }
}

启动:

[root@server02 logstash-6.2.4]# nohup  bin/logstash -f config/logstash.conf > nohup.log &

3.Filebeat安装与配置

[root@server02 elk]# tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz
filebeat必须属于root用户名下;filebeat.yml中 enable项都由false改为true;

开启收集system系统日志:  ./filebeat modules enable system

过滤配置文件中的注释空格等无用字符只显示生效配置:
[root@server02 filebeat-6.2.4-linux-x86_64]# grep "^\s*[^# \t].*$" filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
  host: "localhost:5601"

#output.elasticsearch:
  #hosts: ["localhost:9200"]
output.logstash:
   hosts: ["localhost:5043"]

启动:
nohup ./filebeat -e -c filebeat.yml -d "Publish" > filebeat.log &

 

 

最后kibana配置:

选择对应需要收集展示的日志类型:如:System,nginx,apache,Redis等

按教程配置filebeat后按System logs dashboard

第一次访问的时候,会要求设置Index Pattern,因为我们在logstash-es.conf中设置为logstash-%{+YYYY-MM},所以设置为logstash-*就可以了。

Discover是主要的查询交互界面,如下所示:

  

© 著作权归作者所有

共有 人打赏支持
bz_z
粉丝 15
博文 59
码字总数 49140
作品 0
广州
运维
ELK6.0日志从收集到处理完整版教程(三)配置文件讲解

FIlebeat 配置文件内容详解: vi filebeat.yml logstash 配置详解: 日志从filebeat 收集到Logstash输出的流程图: Kibana 上边的日志通过logstash 过滤之后取出来在kibana上显示如下:...

bz_z
06/26
0
0
ELK6.0已取消filebeat配置document_type

原文出处:http://blog.51cto.com/kexiaoke/2092029 一、起因  在使用ELK5.5的时候,如果遇到需要在同一台机器上收集不同类型的日志,比如:同时收集一台机器上的java log和nginx log!而又...

kuSorZ
08/14
0
0
这些大数据书籍配合实验操作更爽哦!

我们学习任何一门技术,肯定都会选择一本不错的书籍,我想学大数据也不例外,你会挑选不错的书籍,看书学习。 同时我们也知道光看书是不行的,还需要不断的动手实战练习。 所以不禁会想,有没...

实验楼
2017/12/26
0
0
珍藏资料-机器学习&深度学习-看这几本书就够了

毕业,翻一翻硬盘网盘里面这几年来收集的买的各路教材学习资料,也有不少,有的看完了有的没看完,虽然多数只是看了一点-_-,教材多了反而老老实实看完某一本比较困难而且没体系,效率不高,...

on2way
05/09
0
0
自动化运维系列之Cobbler (资源)

下图为开源自动化运维体系链: 1、cobbler实现自动装机 2、saltstack实现工程自动化配置 3、kubernetes实现容器自动化编排 4、zabbix实现自动化监控 5、elastic实现应用日志自动化收集 6、j...

寰宇01
08/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【mpvue】三

使用了快1个月,陆续整理发现的坑 1、pageA-pageB-pageA-pageC 如果以这种顺序,大概理解成,列表进详情B, 返回列表进入详情C,那么进入详情C的时候,会因为缓存,先展现详情B的内容。解决方...

登天的感觉
16分钟前
1
0
在EXCEL指定SHEET页,指定文字位置,插入批注

Java操作EXCEL文件,利用POI,在EXCEL指定SHEET页中指定文字位置处插入批注 package excel; import java.io.FileInputStream; import java.io.FileOutputStream; import org.apache.poi.hssf......

zhaochaochao
18分钟前
1
0
一些网站。

UI schema,可以用json定义UI表单:https://jsonforms.io/examples/array

王坤charlie
25分钟前
1
0
百万连接,百亿吞吐量服务的JVM性能调优实战

转载占小狼博客 应用:shark-新美大移动端网络优化(每日接受移动端请求约150亿) 应用特点 : qps比较高,新生代增长飞快 用户的连接需要维持一段时间 单机需要维持海量连接,几十万的级别 以...

BakerZhu
28分钟前
1
0
iOS涂色涂鸦效果、Swift仿喜马拉雅FM、抽屉转场动画、拖拽头像、标签选择器等源码

iOS精选源码 LeeTagView 标签选择控件 为您的用户显示界面添加美观的加载视图 Swift4: 可拖动头像,增加物理属性 Swift版抽屉效果,自定义转场动画管理器 Swift 仿写喜马拉雅FM 可能是最好用...

sunnyaigd
28分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部