文档章节

ELK6.0日志从收集到处理完整版教程(二)

bz_z
 bz_z
发布于 06/21 15:58
字数 659
阅读 68
收藏 3
点赞 0
评论 0

ELK简介

Elasticsearch
开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。也可以认为ElasticSearch是一个NoSQL存储中心,可以存储各种数据,并且查询速度超级快。

Logstash
完全开源的工具,可以从各种输入流(文件,队列,数据库)收集信息,并对信息进行处理,将处理后的信息存储到ElasticSearch

kibana
开源和免费的工具,它可以从ElasticSearch读取日志等存储的信息, 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

1.Kibana安装与配置

[elk@server02 elk]# tar -zxvf kibana-6.2.4-linux-x86_64.tar.gz

[root@server02 kibana-6.2.4-linux-x86_64]# ls
bin  config  data  LICENSE.txt  node  node_modules  nohup.log  NOTICE.txt  optimize  package.json  plugins  README.txt  src  ui_framework  webpackShims

配置文件:

[root@server02 config]#  grep "^\s*[^# \t].*$" config/kibana.yml 
server.port: 5601
server.host: 0.0.0.0             #将本机的外网ip地址配置上,这样外网才能访问到
elasticsearch.url: "http://localhost:9200"    ##配置EA的地址,本机使用localhost,可配置ip

启动:

nohup sh ./bin/kibana > nohup.log &
http://192.168.3.113:5601     #验证web页面启动

关闭kibana:ps -ef | grep node   #查看进程,kill -9 

2.LogStash安装与配置

[root@server02 elk]# tar -zxvf logstash-6.2.4.tar.gz
[root@server02 logstash-6.2.4]# cat config/logstash.conf

input {
    beats {
        port => "5043"
    }
}
filter {
    grok {
        match => { "message" => "\[%{IP:ip}\] \[%{TIMESTAMP_ISO8601:timestamp}\] \[%{NOTSPACE:class}\]"}
    }
}
output {
    elasticsearch {
        hosts => [ "http://localhost:9200" ]
    }
}

启动:

[root@server02 logstash-6.2.4]# nohup  bin/logstash -f config/logstash.conf > nohup.log &

3.Filebeat安装与配置

[root@server02 elk]# tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz
filebeat必须属于root用户名下;filebeat.yml中 enable项都由false改为true;

开启收集system系统日志:  ./filebeat modules enable system

过滤配置文件中的注释空格等无用字符只显示生效配置:
[root@server02 filebeat-6.2.4-linux-x86_64]# grep "^\s*[^# \t].*$" filebeat.yml
filebeat.prospectors:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
setup.template.settings:
  index.number_of_shards: 3
setup.kibana:
  host: "localhost:5601"

#output.elasticsearch:
  #hosts: ["localhost:9200"]
output.logstash:
   hosts: ["localhost:5043"]

启动:
nohup ./filebeat -e -c filebeat.yml -d "Publish" > filebeat.log &

 

 

最后kibana配置:

选择对应需要收集展示的日志类型:如:System,nginx,apache,Redis等

按教程配置filebeat后按System logs dashboard

第一次访问的时候,会要求设置Index Pattern,因为我们在logstash-es.conf中设置为logstash-%{+YYYY-MM},所以设置为logstash-*就可以了。

Discover是主要的查询交互界面,如下所示:

  

© 著作权归作者所有

共有 人打赏支持
bz_z
粉丝 11
博文 55
码字总数 45804
作品 0
广州
运维
ELK6.0日志从收集到处理完整版教程(三)配置文件讲解

FIlebeat 配置文件内容详解: vi filebeat.yml logstash 配置详解: 日志从filebeat 收集到Logstash输出的流程图: Kibana 上边的日志通过logstash 过滤之后取出来在kibana上显示如下:...

bz_z
06/26
0
0
这些大数据书籍配合实验操作更爽哦!

我们学习任何一门技术,肯定都会选择一本不错的书籍,我想学大数据也不例外,你会挑选不错的书籍,看书学习。 同时我们也知道光看书是不行的,还需要不断的动手实战练习。 所以不禁会想,有没...

实验楼
2017/12/26
0
0
珍藏资料-机器学习&深度学习-看这几本书就够了

毕业,翻一翻硬盘网盘里面这几年来收集的买的各路教材学习资料,也有不少,有的看完了有的没看完,虽然多数只是看了一点-_-,教材多了反而老老实实看完某一本比较困难而且没体系,效率不高,...

on2way
05/09
0
0
分布式日志收集套件-ELK

一。 ELK介绍 ELK 是elastic公司提供的一套完整的日志收集、展示解决方案,是三个产品的首字母缩写,分别是ElasticSearch、Logstash 和 Kibana。 ElasticSearch简称ES,它是一个实时的分布式...

liaomin416100569
2017/12/13
0
0
Filebeat—> Elasitcsearch—> Kibana 搭建日志收集系统

1.为什么需要日志收集 当我们的网站规模大到一定程度时我们的服务分散在不同的主机上,当网站发生异常时我们通常通过这些服务的日志来排查系统故障,由于主机众多日志分散在不同的主机上,导...

顶风走千里
2017/11/29
0
0
基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程

基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程 1、环境准备,四台测试服务器 spark集群三台,spark1,spark2,spark3 kafka集群三台,spark1,spark2,spark3 zookeeper集群三台,spa...

闪电
2016/06/28
1K
3
这一次 彻底搞懂Vue针对数组和双向绑定(MVVM)的处理方式

欢迎关注我的博客:github.com/wangweiange… Vue内部实现了一组观察数组的变异方法,例如:push(),pop(),shift()等。 Object.definePropert只能把对象属性改为getter/setter,而对于数组的...

wangweianger
05/12
0
0
使用Flume+Kafka+SparkStreaming进行实时日志分析

每个公司想要进行数据分析或数据挖掘,收集日志、ETL都是第一步的,今天就讲一下如何实时地(准实时,每分钟分析一次)收集日志,处理日志,把处理后的记录存入Hive中,并附上完整实战代码 ...

Trigl
2017/05/24
0
0
Redis-Cluster实战--13.redis Cluster故障转移(failover)

转载请注明出处哈:http://carlosfu.iteye.com/blog/2240426 一、测试环境 1. Redis版本: 由于我们较早的使用了Redis-Cluster版本,所以此测试使用的是Redis 3.0.0 RC1 (version 2.9.101) 后...

付磊-起扬
2015/09/29
0
0
使用 syslog-ng 可靠地记录物联网事件

用增强的日志守护进程 syslog-ng 来监控你的物联网设备。 现在,物联网设备和嵌入式系统越来越多。对于许多连接到因特网或者一个网络的设备来说,记录事件很有必要,因为你需要知道这些设备都...

14%
05/17
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

程序的调试信息

调试二进制程序时,经常要借助GDB工具,跟踪程序的执行流程,获取程序执行时变量的值,以发现问题所在。GDB能得到这些信息,是因为编译程序时,编译器保存了相应的信息。Linux下的可执行程序...

qlee
26分钟前
0
0
应用级缓存

缓存命中率 从缓存中读取数据的次数与总读取次数的比例,命中率越高越好 java缓存类型 堆缓存 guavaCache Ehcache3.x 没有序列化和反序列化 堆外缓存ehcache3.x 磁盘缓存 存储在磁盘上 分布式...

writeademo
今天
0
0
python爬虫日志(3)find(),find_all()函数

1.一般来说,为了找到BeautifulSoup对象内任何第一个标签入口,使用find()方法。 以上代码是一个生态金字塔的简单展示,为了找到第一生产者,第一消费者或第二消费者,可以使用Beautiful Sou...

茫羽行
今天
0
0
java:thread:顺序执行多条线程

实现方案: 1.调用线程的join方法:阻塞主线程 2.线程池 package com.java.thread.test;public class MyThread01 implements Runnable {@Overridepublic void run() {Syste...

人觉非常君
今天
0
0
ElasticSearch 重写IK分词器源码设置mysql热词更新词库

常用热词词库的配置方式 1.采用IK 内置词库 优点:部署方便,不用额外指定其他词库位置 缺点:分词单一化,不能指定想分词的词条 2.IK 外置静态词库 优点:部署相对方便,可以通过编辑指定文...

键走偏锋
今天
18
0
Git 2.18版本发布:支持Git协议v2,提升性能

Git 2.18版本发布:支持Git协议v2,提升性能Git 2.18版本发布:支持Git协议v2,提升性能 新版本协议的主要驱动力是使 Git 服务端能够对各种 ref(分支与 tag)进行过滤操作。 这就意味着,G...

linux-tao
今天
0
0
python浏览器自动化测试库【2018/7/22-更新】

64位py2.7版本 更新 document_GetResources 枚举页面资源 document_GetresourceText 获取指定url的内容 包括页面图片 下载地址下载地址 密码:upr47x...

开飞色
今天
41
0
关于DCL双重锁失效及解决方案

关于DCL双重锁失效及解决方案 Double Check Lock (DCL)实现单例 DCL 方式实现单例的优点是既能够在需要时才初始化单例,又能够保证线程安全,且单例对象初始化后调用getInstance方法不进行...

DannyCoder
今天
0
0
PowerDesigner 16.5 安装配置

PowerDesigner16.5破解版是一款业内领先且开发人员常用的数据库建模工具,PowerDesigner可以从物理和概念两个层面设计数据库,方便用户制作处清晰直观的数据流程图和结构模型,欢迎有需要的朋...

Gibbons
今天
0
0
mac Homebrew 指令积累

1通用命令 brew install [包名] //安装包 brew list //列举安装的包 brew info [包名] // 显示安装包的详细信息 mysql 相关 #启动mysql 服务 brew service start mysql my...

Kenny100120
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部