文档章节

简单介绍ELK 组件与历史

问题终结者
 问题终结者
发布于 02/12 23:57
字数 936
阅读 12
收藏 0

ELK 需求背景:

  • 业务发展越来越在,服务器越来越多
  • 各种访问日志、应用日志、错误日志越来越多,导致运维人员无法很好的管理日志
  • 开发人路由器排查问题,需要到服务器上查日志,不方便
  • 运营人员需要一些数据,需要我们运维到服务器上分析日志

为什么要用到ELK:

一般我们需要进行日志分析:直接在日志文件中 awk grep就可以获取想要的信息。但是规模较大时,些方法效率很低。

日志归档,文本搜索,多维度查询 ==>> 需要集中化日志管理

建立集中式日志收集系统,将所有节点上的日志统一收集,管理,访问。 分布式部署架构,不由的服务模式部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露关键信息,定位到具体的服务器与服务模块,构建一套集中式日志系统,可以提高定位问题效率。

需求:

  • 收集 - 能够采集多种来源的日志数据
  • 传输 - 能够稳定的把日志数据传输到中央系统
  • 存储 - 如何存储日志数据
  • 分析 - 可以支持UI分析
  • 警告 - 能够提供错误报告,监控机制

ELK组件简介

是三个开源软件缩写,分别为:Elasticsearch, Logstash, Kibana 。都是开源软件。现在还新增了一个Beats,它是一个轻量级的日志收集处理工具Agent, Beats占用资源少,适合于各个服务器上搜集日志后传输给Logstash. 目前加了Beats工具所以已经改名为Elastic Stack.

Elasticsearch

Elasticsearch是个开源分布式搜索引擎,提供搜集,分析,存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分版,索引副本机制,restfull风格接口,多数据源,自动搜索负载等。

Logstash

Logstash 主要是用来日志的搜集,分析,过滤日志的工具支持大量的数据获取方式。一般工作方式为c/s架构,client端安装在需要收集日志的主机上,server端负责将收到各节点进行过滤,修改等操作一并发到elasticsearch上。

Kibana

Kibana 也是一个开源和免费的工具,Kibana可以为Logstash和Elasticsearch提供日志分析友好的web界面,可以帮助汇总,分析和搜索重要数据日志。

Beats

Beats 是一个轻量级日志采集,家族有6个成员,早期的ELK架构中使用Logstash收集,解析日志,但是Logstash对内存,cpu, io 等资源消耗高。 而Beats所占系统的CPU,内存可以忽略不计。

ELK Stack (5.0版本后) -->> ELk Stack + Beats

  • Packetbeat: 网络数据 收集网络流量数据
  • Metricbeat: 指标 收集系统,进程,文件系统级别cpu,内存使用情况
  • Filebeat: 日志文件 收集文件数据
  • Winlogbeat windows事件日志 收集windows事件日志数据
  • Audibeat 审计数据 收集审计日志
  • Heartbeat 运行时间监控 收集系统运行时的数据

x-pack 工具

提供安全,警报,监控,报表,图表于一身的扩展包,是收费的。

 

 

© 著作权归作者所有

共有 人打赏支持
问题终结者
粉丝 19
博文 1077
码字总数 178676
作品 0
运维
私信 提问
高性能Elasticsearch ORM开发库bboss es 5.0.3.7.8发布

bboss es v5.0.3.7.8已发布。bboss elasticsearch是一套基于query dsl语法操作访问分布式搜索引擎elasticsearch的o/r mapping开发库,底层基于es restful api。使用bboss es,可以快速编写出...

bboss
2017/11/16
1K
4
小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
2018/07/15
0
0
Elastic 在年度用户大会 Elastic{ON} 2018 上发布众多新功能和技术预览

下载超过 2.25 亿次,Elastic 公开 X-Pack 源代码 旧金山 (Elastic{ON} 2018) – 2018 年 2 月 27 日 – Elastic,Elasticsearch 和 Elastic Stack背后的公司,今天宣布其产品累计下载次数达...

Medcl
2018/03/01
0
0
基于ELK实时日志分析的最佳实践

在2018云栖大会深圳峰会大数据分析与可视化专场上,由阿里巴巴搜索引擎事业部开放搜索团队的吴迪带来了“基于ELK实时日志分析的最佳实践”的主题分享。介绍了传统的日志分析、ELK的概念和ELK...

smile小太阳
2018/05/06
0
0
bboss es 5.0.3.9.1 发布,高性能Elasticsearch ORM开发库

高性能Elasticsearch ORM开发库bboss es 5.0.3.9.1发布 bboss es是一款基于query dsl语法的Elasticsearch ORM开发库,底层基于http restful。使用bboss es,可以快速编写出访问和操作elastic...

bboss
2018/01/30
1K
4

没有更多内容

加载失败,请刷新页面

加载更多

【结构型】- 享元模式

享元模式 作用:利用共享技术有效地支持大量细粒度对象的复用 享元模式状态 内部状态:在享元对象内部不随外界环境改变而改变的共享部分,存储于享元对象内部 外部状态:随着环境的改变而改变...

ZeroneLove
昨天
1
0
Vue 中使用UEditor富文本编辑器-亲测可用-vue-ueditor-wrap

一、Vue中在使用Vue CLI开发中默认没法使用UEditor 其中UEditor中也存在不少错误,再引用过程中。 但是UEditor相对还是比较好用的一个富文本编辑器。 vue-ueditor-wrap说明 Vue + UEditor + ...

tianma3798
昨天
4
0
php-fpm配置

php-fpm配置 修改bbs.wangzb.cc.conf配置文件,将端口9000改为9001,重新访问网站是失败的 修改配置文件 # vim /etc/nginx/conf.d/bbs.wangzb.cc.conf# nginx -s reloadfastcgi_pass 1...

wzb88
昨天
2
0
配置方案:Redis持久化RDB和AOF

Redis持久化方案 Redis是内存数据库,数据都是存储在内存中,为了避免进程退出导致数据的永久丢失,需要定期将Redis中的数据以某种形式(数据或命令)从内存保存到硬盘。当下次Redis重启时,...

linuxprobe16
昨天
6
0
介绍NoSQL最受欢迎的产品

MongoDB MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。主要解决的是海量数据的访问效率问题,为WEB应用提供可扩展的高性能数据存储解决方案。当数据量达到50GB以上的时候,Mon...

问题终结者
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部