文档章节

搭建ElasticSearch+Logstash+Kibana环境

writeademo
 writeademo
发布于 2018/08/26 17:49
字数 1115
阅读 432
收藏 5

ELK介绍

ELK (官网)其实是三个不同的内容,一般配合一起使用。分别是: 
- ElasticSearch 
- Logstash 
- Kibana

具体的介绍可以看官网的每个产品介绍

Windows 环境搭建

可以参考:https://blog.csdn.net/pilihaotian/article/details/52452010 ,基本上比较详细了,但是也可以看出windows安装比较繁琐,而且还会耗费机器本身资源,本文介绍使用Docker安装搭建。

Docker 环境搭建

ELK对应的有很多版本,本文均使用最新版本

安装 elasticsearch

拉取镜像

    docker pull elasticsearch

 

启动容器

docker run -d -p 9200:9200 --name leon_elasticsearch elasticsearch

 

此时访问地址:http://192.168.9.151:9200/,看到如下效果说明启动成功: 
1.jpg

安装插件 elasticsearch-head

一般情况下,安装插件只需要执行命令:

elasticsearch-plugin install mobz/elasticsearch-head

 

那么我们现在进入到容器中对应的目录:/usr/share/elasticsearch/bin/,然后执行上述命令,但是发现报错: 

查阅相关文档得知以下信息:

– for Elasticsearch 5.x: 
site plugins are not supported. Run elasticsearch-head as a standalone server

也就是说5.X以上的版本,需要单独启动 elasticsearch-head 服务。 
那么单独启动运行插件容器:

docker run -d -p 9100:9100 --name leon_elasticsearch-head mobz/elasticsearch-head:5

 

注意后面跟的版本5,一定要对应自己的版本。

容器启动后,访问地址:http://192.168.9.151:9100/

2.jpg

此时代表插件服务已经启动,但是点击连接,发现无法连接elasticsearch服务,需要修改配置文件,文件地址为容器中的:/usr/share/elasticsearch/config/elasticsearch.yml

我们进入容器,发现无法使用VI命令修改文件,这个时候可以安装VI工具然后修改文件,或者使用另外一种粗暴的方法,在外面修改然后覆盖文件。这里因为安装VI总是出错,所以使用第二种方式。

首先将容器中的配置文件导出来:

docker cp leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml /home/px2/elasticsearch.yml

 

在文件中添加以下内容:

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization

 

然后在替换容器中的文件:

docker cp /home/px2/elasticsearch.yml leon_elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml

 

重启容器,然后重新访问:http://localhost:9100/ 就可以连接上了(此时还没有数据)

3.jpg

注意:如果还是不能连接,可以访问地址来连接:http://localhost:9100/?auth_user=elastic&auth_password=changeme

安装logstash

这里有个比较坑的问题,使用Docker官方Hub里的镜像 docker pull logstash 启动的容器总是会自动停掉,无法运行,后来选择使用官网中的镜像地址:

docker run --name leon_logstash docker.elastic.co/logstash/logstash:6.2.4

 

修改配置文件,进入容器:

docker exec -it leon_logstash /bin/bash

 

进入目录cd config 
打开并修改配置文件 vi logstash.yml:

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.url: http://192.168.9.151:9200
xpack.monitoring.elasticsearch.username: elastic
xpack.monitoring.elasticsearch.password: changeme

 

安装kibana

拉取镜像

docker pull kibana
  • 1

启动容器

docker run --name leon_kibana -p 5601:5601 -d -e ELASTICSEARCH_URL=http://192.168.9.151:9200 kibana

 

配置

访问地址:http://192.168.9.151:5601 ,看到如下效果

4.jpg

此时报错中间红色部分,无法进行创建,找到资料得知:

5.jpg

看官网的解释说这是因为初次设置的时候logstash没有加载到数据导致的。所以先要保证logstash能够加载到数据。

配置数据

进入到容器中:

docker exec -it leon_logstash /bin/bash

 

然后进入如下目录: 
cd pipeline/ 
打开配置文件:vi logstash.conf

修改内容如下:

input {
        file {
            codec=> json
                path => "/usr/local/*.json"
        }
}
filter {
  #定义数据的格式
  grok {
    match => { "message" => "%{DATA:timestamp}\|%{IP:serverIp}\|%{IP:clientIp}\|%{DATA:logSource}\|%{DATA:userId}\|%{DATA:reqUrl}\|%{DATA:reqUri}\|%{DATA:refer}\|%{DATA:device}\|%{DATA:textDuring}\|%{DATA:duringTime:int}\|\|"}
  }
}
output {
   elasticsearch{
     hosts=> "http://192.168.9.151:9200"
   }
} 

 

其中指定了输出地址:elasticsearch的地址,而且还指定了内容输入地址:/usr/local/*.json,需要在usr/local下有json格式的数据,接下来将项目生成的json格式的日志文件上传到该目录。


docker cp /home/px2/logs/shop-user-consumer.json leon_logstash:/usr/local/shop-user-consumer.json
docker cp /home/px2/logs/shop-user-provider.json leon_logstash:/usr/local/shop-user-provider.json

 

然后重启logstash容器,在重新访问页面,可以看到可以进行create了。

6.jpg

点击create创建成功后,点击Discovery,选择时间为一年内,可以看到之前的数据:

7.jpg

并且访问9100地址也能加载出节点信息了:

8.png

至此,整个ELK环境就搭建起来了。

本文转载自:https://blog.csdn.net/leonDuHua/article/details/80904280

writeademo
粉丝 27
博文 684
码字总数 258163
作品 0
东城
私信 提问
springboot+redis+ELK(ElasticSearch+Logstash+kibana)

上一篇已经搭建好elk的环境 现在只要搭建一个elk+redis的环境 使用redis是是防止大批量日志的时候logstash无法及时处理 安装redis wget http://download.redis.io/releases/redis-3.2.8.tar....

阿恒灬
2017/10/31
307
0
ELK环境搭建(ElasticSearch+Logstash+kibana)

ELK是指Elasticsearch + Logstash + Kibaba三个组件的组合。本文讲解一个基于日志文件的ELK平台的搭建过程,有关ELK的原理以及更多其他信息,会在接下来的文章中继续研究。   在这个系统中...

阿恒灬
2017/10/31
790
0
使用ELK构建微服务的日志平台

1 概述 在微服务架构中,会部署众多的应用,其中有基础应用,比如:网关,服务发现等。同时还有大量的业务应用。所以,如何有效的收集它们的日志,并且方便查询,同时提供友好的可视化展示,...

Java大蜗牛
2018/08/18
81
0
ELK(elasticsearch+logstash+kibana)开源日志分析平台搭建

环境介绍 System: CentOS7.2 x86_64 hostname: elk-server.huangming.org IP Address: 10.0.6.42、10.17.83.42 本篇的ELK环境为单机部署方式,即将ELK所有的软件包都安装在一台服务器上,配置...

HMLinux
2017/08/28
0
0
kafka在日志监控平台使用

@卢禹 你好,想跟你请教个问题:我现在有个需求,用logstash抓取日志到kafka以后,同时做实时日志监控,和日志静态分析,实时日志监控用ELK实现,日志静态分析用HADOOP,现在有两个问题: 一...

Small雀
2016/06/29
1K
2

没有更多内容

加载失败,请刷新页面

加载更多

一起来学Java8(五)——接口默认方法

Java8新加入一个特性,允许在接口方法中给定一个默认实现。前提是在方法前面加一个default关键字。 public interface InterfaceMethod {default void say() {System.out.println("hello...

猿敲月下码
9分钟前
6
0
weed3-2.3.3.查询之缓存控制

Weed3 一个超轻量级ORM框架(只有0.1Mb哦) 源码:https://github.com/noear/weed3 源码:https://gitee.com/noear/weed3 缓存控制,是查询中的重点 框架提供的是控制服务。而非缓存服务本身...

刘之西东
12分钟前
5
0
Java Web 中对 ServletRequest 的一些非常规操作解决方案

1. 前言 ServletRequest 是我们搞 Java Web 经常接触的 Servlet Api 。有些时候我们要经常对其进行一些操作。这里列举一些经常的难点操作。 2. 提取 body 中的数据 前后端交互我们会在 body...

码农小胖哥
今天
29
0
《Dual Encoding U-Net for Retinal Vessel Segmentation》阅读笔记-MICCAI2019

作者:Bo Wang1,2, Shuang Qiu2, and Huiguang He1,2,3 目的:Retinal Vessel Segmentation is an essential step for the early diagnosis of eye-related diseases, such as diabetes and ......

JungleKing
今天
29
0
一次看懂 Https 证书认证

TLS > 传输层安全性协定 TLS(Transport Layer Security),及其前身安全套接层 SSL(Secure Sockets Layer)是一种安全协议,目的是为网际网路通信,提供安全及数据完整性保障。 如图,TLS...

极客收藏夹
今天
35
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部