文档章节

开源日志分析工具elk安装部署

eatnothing
 eatnothing
发布于 2016/07/22 11:52
字数 1021
阅读 1110
收藏 13

开源日志分析工具elk安装部署

在公司中,日志分析也是正常维护中较为关键的一环,elk平台集成了日志收集,分类,查找,界面,以及绘制各种图表等功能,非常的方便

elk官方网站

elk 分为

  • Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful 风格接口,多数据源,自动搜索负载等。
  • Logstash 是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。
  • kibana 也是一个开源和免费的工具,他 Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

首先进行logstash环境的安装

######这次使用的是官网最新版本2.3.4 安装logstash之前需要确认自己是否安装了java环境,并且需要java 7 以上 使用Ubuntu的童鞋可以参考我的这篇帖子来进行安装 Ubuntu通过apt-get安装java环境

######官网给出了非常详细的安装教程这里不在赘述 yum,apt,wget安装Logstash

RT

如图所示,logstash分为了输入,过滤,和输出,这让我们数据的收集,汇聚起到了非常方便的作用

首先我们可以尝试启动Logstash来进行测试是否安装成功

bin/logstash -e 'input { stdin { } } output { stdout {} }' logstash直接讲数据输出到了控制台,如果我们在控制台看到了输出则logstash安装成功。

接下来就是logstash以配置文件来启动 此处应该主从多个服务器,从服务器负责监听所需日志的变化,并且发送到主服务器中,主服务器对从服务器发送来的数据进行汇总处理.

那么问题来了,从服务器如何把数据发送到主服务器呢?

此处我们用将数据用Redis同步到主服务器上。具体请看配置

从服务器

首先我们新建一个文件夹,(位置自定) sudo touch shipper.conf && sudo chmod 777 shipper.conf

接下来进入shipper.conf,填写详细配置

input {
    file {
        path => [
            # 这里填写需要监控的文件
            "/var/log/logstash/first.log",
            "/var/log/logstash/second.log"
        ]
    }
}
output {
    # 输出到控制台
    # stdout { }
    # 输出到redis
    redis {
        host => "101.200.221.135"   # redis主机地址
        port => 6379              # redis端口号
        db => 8                   # redis数据库编号
        data_type => "channel"    # 使用发布/订阅模式
        key => "logstash_list_0"  # 发布通道名称
    }
}

主服务器

同样的创建一个配置文件sudo touch indexer.conf

input {
    redis { 
        host      => "101.200.221.135"    # redis主机地址
        port      => 6379               # redis端口号
        db        => 8                  # redis数据库编号
        data_type => "channel"          # 使用发布/订阅模式
        key       => "logstash_list_0"  # 发布通道名称
    } 
}
output {
 file{
	path => "/var/log/logstash/all.log"
}
#此处是返送到elasticsearch
	elasticsearch{
            hosts =>"127.0.0.1"
        }
}

具体Logstash就配置完成了

解析来启动Logstash

bin/logstash -f shipper.conf
bin/logstash -f indexer.conf

向从服务器监听的文件中插入一条数据 echo "123" >>/var/log/logstash/first.log

切换到主服务器看到/var/log/logstash/all.log下同步了我们在从服务器创建的数据

Elasticsearch的配置安装

此处用的是官网最新版本2.3

同样,Elasticsearch文档非常详细,不在赘述

Elasticsearch安装教程

安装完成后 `./elasticsearch` 启动即可 ,或者作为守护进程来启动 `./elasticsearch -d`

indexer.conf 介绍过,将数据发送到`Elasticsearch`处理 注意`Elasticsearch`监听端口9200,确保可以访问

Kibana的配置安装

######Kibana选用4.5

Kibana安装文档

切换到kibnana文件夹,执行./kibnana即可

kibnana默认使用的是5601端口

输入图片说明

到此我们安装就彻底结束了,具体使用请参照官网

thanks

© 著作权归作者所有

eatnothing
粉丝 39
博文 128
码字总数 68736
作品 0
昌平
程序员
私信 提问
ElasticSearch+kibana+logstash集群部署

ELK原理与介绍   ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat,它是一个轻量级的日志收集处理工具(Agent),Filebeat占用...

若此生无缘
2018/08/22
0
0
小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
2018/07/15
0
0
ELK技术栈ElasticSearch,Logstash,Kibana

基础部分 工作原理 es增删改内部原理 ELK集群安装部署 文档管理 索引管理 搜索 聚合分析 分词 数据建模 Java api 零停机 index segment merge 乐观锁并发控制 索引别名 相关度评分算法与定制...

马士兵优效学院
2018/08/19
0
0
简单搭建 ELK + OpenWAF 环境

ELK 是比较火的开源日志分析系统 文章主要介绍,ELK 的 docker 部署及与 OpenWAF 的结合 OpenWAF简介 OpenWAF是第一个全方位开源的Web应用防护系统(WAF),他基于nginx_lua API分析HTTP请求...

温柔魔君
2017/07/05
2
0
CentOS7.3下ELK日志分析系统集群搭建

Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎,此外他还是一个分布式实时文档存储,其中每个文档的每个filed均是可被索引的数据,且可被搜索,也是一个带实时分...

wujunqi1996
2018/07/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

一套完整的软件开发流程是怎样的?

做什么事都需要一个流程,软件开发也不例外。 那么,一个软件从无到有到底是怎么开发的?一个软件产品的结果为什么是这样?为什么开发的速度不能再快一点。为什么程序员大多秃顶?他们有那么...

我想造火箭
21分钟前
4
0
漂亮思维导图怎样绘制?教你快速套用思维导图模板绘制d

用MindMaster软件绘制思维导图,会更加高效和美观!因为MindMaster是一款专业的思维导图软件,零基础经验的朋友花费5分钟时间就能掌握它的相关画法。以下是电脑软件思维导图画法的简单步骤。...

工具分享
23分钟前
4
0
linux 软链接与 硬链接的区别

软链接与硬链接的区别 1. 硬链接不会创建inode,即使用的inode都是一样的。软链接会创建新的inode。 2. 硬链接的访问属性和源文件一模一样,没有l的标识。软链接的访问属性写明了是l,且访问...

突突突酱
24分钟前
2
0
新特性解读 | MySQL 8.0.18 有权限控制的复制

原文:Replication with restricted privileges https://mysqlhighavailability.com/replication-with-restricted-privileges/ 作者:Pedro Figueiredo 翻译:管长龙 背景 MySQL 8.0.18 以前......

爱可生
33分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部