文档章节

开源实时日志分析ELK平台部署

龍sky腾
 龍sky腾
发布于 2017/03/18 19:44
字数 2273
阅读 219
收藏 14
ELK

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co/products

l  Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

l  Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。

l  kibana 也是一个开源和免费的工具,他Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。

工作原理如下如所示:

wKiom1WvCHShms8mAAEGQxKbjgc689.jpg          

      在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后的内容发送到logstash indexer,logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行自定义搜索通过Kibana 来结合自定义搜索进行页面展示。

     开源实时日志分析ELK平台部署流程:

(1)安装Logstash依赖包JDK

Logstash的运行依赖于Java运行环境, Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序,而不是开发,下载JRE即可。首先,在Oracle官方下载新版jre,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html

wKiom1WuPOXDdexLAALCUvTjDWw312.jpg

可以看到提供了多种版本,下载时,选择适合自己机器运行环境的版本,我使用的是RHEL6.5 x86_64的操作系统,所以,下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。

1

#wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz

JDK的安装方式比较简单,只需将下载回来的程序包解压到相应的目录即可。

1

2

# mkdir /usr/local/java

# tar -zxf jdk-8u45-linux-x64.tar.gz -C /usr/local/java/

设置JDK的环境变量,如下:

1

2

3

4

# tail -3 ~/.bash_profile

export JAVA_HOME=/usr/local/java/jdk1.8.0_45

export PATH=$PATH:$JAVA_HOME/bin

exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH

在Shell提示符中执行java –version命令,显示如下结果,说明安装成功:

1

2

3

4

# java -version

java version "1.8.0_45"

Java(TM) SE Runtime Environment (build 1.8.0_45-b14)

Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02,mixed mode)

(2)安装Logstash

下载并安装Logstash,安装logstash只需将它解压的对应目录即可,例如:/usr/local下:

1

2

# https://download.elastic.co/logstash/logstash/logstash-1.5.2.tar.gz

# tar –zxf logstash-1.5.2.tar.gz -C /usr/local/

安装完成后运行如下命令:

1

2

3

4

# /usr/local/logstash-1.5.2/bin/logstash -e 'input { stdin { } } output { stdout {} }'

Logstash startup completed

Hello World!

2015-07-15T03:28:56.938Z noc.vfast.com Hello World!

我们可以看到,我们输入什么内容logstash按照某种格式输出,其中-e参数参数允许Logstash直接通过命令行接受设置。这点尤其快速的帮助我们反复的测试配置是否正确而不用写配置文件。使用CTRL-C命令可以退出之前运行的Logstash。

使用-e参数在命令行中指定配置是很常用的方式,不过如果需要配置更多设置则需要很长的内容。这种情况,我们首先创建一个简单的配置文件,并且指定logstash使用这个配置文件。例如:在logstash安装目录下创建一个“基本配置”测试文件logstash-test.conf,文件内容如下:

1

2

3

4

5

# cat logstash-simple.conf

input { stdin { } }

output {

   stdout { codec=> rubydebug }

}

Logstash使用input和output定义收集日志时的输入和输出的相关配置,本例中input定义了一个叫"stdin"的input,output定义一个叫"stdout"的output。无论我们输入什么字符,Logstash都会按照某种格式来返回我们输入的字符,其中output被定义为"stdout"并使用了codec参数来指定logstash输出格式。 

使用logstash的-f参数来读取配置文件,执行如下开始进行测试:

1

2

3

4

5

6

7

8

9

10

11

# echo "`date`  hello World"

Thu Jul 16 04:06:48 CST 2015 hello World

# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-simple.conf

Logstash startup completed

Tue Jul 14 18:07:07 EDT 2015 hello World   #该行是执行echo “`date`hello World” 后输出的结果,直接粘贴到该位置

{

      "message" => "Tue Jul 14 18:07:07 EDT 2015 helloWorld",

     "@version" => "1",

   "@timestamp" => "2015-07-14T22:07:28.284Z",

         "host" => "noc.vfast.com"

}

(3)安装Elasticsearch

下载Elasticsearch后,解压到对应的目录就完成Elasticsearch的安装。

1

# tar -zxf elasticsearch-1.6.0.tar.gz -C /usr/local/

启动Elasticsearch

1

# /usr/local/elasticsearch-1.6.0/bin/elasticsearch

如果使用远程连接的Linux的方式并想后台运行elasticsearch执行如下命令:

1

# nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup &

确认elasticsearch的9200端口已监听,说明elasticsearch已成功运行

1

2

# netstat -anp |grep :9200

tcp        0      0 :::9200                     :::*                        LISTEN      3362/java

接下来我们在logstash安装目录下创建一个用于测试logstash使用elasticsearch作为logstash的后端的测试文件logstash-es-simple.conf,该文件中定义了stdout和elasticsearch作为output,这样的“多重输出”即保证输出结果显示到屏幕上,同时也输出到elastisearch中。

1

2

3

4

5

6

# cat logstash-es-simple.conf

input { stdin { } }

output {

   elasticsearch {host => "localhost" }

   stdout { codec=> rubydebug }

}

执行如下命令

1

2

3

4

5

6

7

8

9

10

# /usr/local/logstash-1.5.2/bin/logstash agent -f logstash-es-simple.conf

… …

Logstash startup completed

hello logstash

{

      "message" => "hello logstash",

     "@version" => "1",

   "@timestamp" => "2015-07-15T18:12:00.450Z",

         "host" => "noc.vfast.com"

}

我们可以使用curl命令发送请求来查看ES是否接收到了数据:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

# curl 'http://localhost:9200/_search?pretty'

返回结果

{

  "took": 58,

 "timed_out" : false,

 "_shards" : {

   "total" : 5,

   "successful" : 5,

   "failed" : 0

  },

  "hits": {

   "total" : 1,

   "max_score" : 1.0,

   "hits" : [ {

     "_index" : "logstash-2015.07.15",

     "_type" : "logs",

     "_id" : "AU6TWiixxDXYhySMyTkP",

     "_score" : 1.0,

     "_source":{"message":"hellologstash","@version":"1","@timestamp":"2015-07-15T20:13:55.199Z","host":"noc.vfast.com"}

    } ]

  }

}

至此,你已经成功利用Elasticsearch和Logstash来收集日志数据了。

(4)安装elasticsearch插件

Elasticsearch-kopf插件可以查询Elasticsearch中的数据,安装elasticsearch-kopf,只要在你安装Elasticsearch的目录中执行以下命令即可:

1

2

# cd /usr/local/elasticsearch-1.6.0/

# ./plugin -install lmenezes/elasticsearch-kopf

安装完成后在plugins目录下可以看到kopf

1

2

# ls plugins/

kopf

在浏览器访问http://10.1.1.188:9200/_plugin/kopf浏览保存在Elasticsearch中的数据,如下所示:

wKiom1WuPpPw0q9SAAGLFRRvbsc980.jpg

(5)安装Kibana

下载kibana后,解压到对应的目录就完成kibana的安装

1

# tar -zxf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/

启动kibana

1

# /usr/local/kibana-4.1.1-linux-x64/bin/kibana

使用http://kibanaServerIP:5601访问Kibana,登录后,首先,配置一个索引,默认,Kibana的数据被指向Elasticsearch,使用默认的logstash-*的索引名称,并且是基于时间的,点击“Create”即可。                     wKioL1WuTtKzeaJcAAGvN-MrSeI049.jpg

 

看到如下界面说明索引创建完成。

wKiom1WuTTizz_V1AAH388bFSUM302.jpg

点击“Discover”,可以搜索和浏览Elasticsearch中的数据,默认搜索的是最近15分钟的数据。可以自定义选择时间。

wKiom1WuTXPztaRXAAGtd5c4QUg780.jpg      到此,说明你的ELK平台安装部署完成。

(6)配置logstash作为Indexer

将logstash配置为索引器,并将logstash的日志数据存储到Elasticsearch,本范例主要是索引本地系统日志。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

# cat /usr/local/logstash-1.5.2/logstash-indexer.conf

input {

  file {

    type =>"syslog"

     path => ["/var/log/messages", "/var/log/syslog" ]

  }

  syslog {

    type =>"syslog"

    port =>"5544"

  }

}

output {

  stdout { codec=> rubydebug }

  elasticsearch {host => "localhost" }

}

# /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf

使用echo命令模拟写入日志,命令执行后看到如下图的信息

1

# echo "`date` 优衣库视频" >>/var/log/messages

wKioL1WuT8qA7G7qAAESU8A7UsQ038.jpg刷新kibana,发现最新的测试数据显示到浏览器中,如下图所示:

wKiom1WuTkmCy5g-AAHsVtom5Jc121.jpg到此,ELK平台部署和基本的测试已完成。

 

如下文章可以作为参考:

http://www.cnblogs.com/zclzhao/p/5749736.html

本文转载自:http://baidu.blog.51cto.com/71938/1676798

龍sky腾
粉丝 7
博文 41
码字总数 11647
作品 0
东城
项目经理
私信 提问
一篇文章让你读懂ELK在CDN质量监控中的价值

一篇文章让你读懂ELK在CDN质量监控中的价值 灵活调配ELK,适应大数据场景 数说事实 在开篇之前,先简单的列举下我们线上ELK的真实数据。目前自建的ELK集群主要接入了自建CDN的日志,以及多个...

Yennis
2016/10/31
347
0
CentOS7.3下ELK日志分析系统集群搭建

Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎,此外他还是一个分布式实时文档存储,其中每个文档的每个filed均是可被索引的数据,且可被搜索,也是一个带实时分...

wujunqi1996
2018/07/14
0
0
CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享
2018/05/23
13
0
小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
2018/07/15
0
0
Elastic中国开发者大会

Elastic 中国开发者大会 2016(Elastic{ON} Dev China 2016)是由 Elastic 官方在中国举办的第一次开发者大会,主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats,探...

Medcl
2016/11/13
571
4

没有更多内容

加载失败,请刷新页面

加载更多

代理模式之JDK动态代理 — “JDK Dynamic Proxy“

动态代理的原理是什么? 所谓的动态代理,他是一个代理机制,代理机制可以看作是对调用目标的一个包装,这样我们对目标代码的调用不是直接发生的,而是通过代理完成,通过代理可以有效的让调...

code-ortaerc
今天
5
0
学习记录(day05-标签操作、属性绑定、语句控制、数据绑定、事件绑定、案例用户登录)

[TOC] 1.1.1标签操作v-text&v-html v-text:会把data中绑定的数据值原样输出。 v-html:会把data中值输出,且会自动解析html代码 <!--可以将指定的内容显示到标签体中--><标签 v-text=""></......

庭前云落
今天
8
0
VMware vSphere的两种RDM磁盘

在VMware vSphere vCenter中创建虚拟机时,可以添加一种叫RDM的磁盘。 RDM - Raw Device Mapping,原始设备映射,那么,RDM磁盘是不是就可以称作为“原始设备映射磁盘”呢?这也是一种可以热...

大别阿郎
今天
12
0
【AngularJS学习笔记】02 小杂烩及学习总结

本文转载于:专业的前端网站☞【AngularJS学习笔记】02 小杂烩及学习总结 表格示例 <div ng-app="myApp" ng-controller="customersCtrl"> <table> <tr ng-repeat="x in names | orderBy ......

前端老手
昨天
16
0
Linux 内核的五大创新

在科技行业,创新这个词几乎和革命一样到处泛滥,所以很难将那些夸张的东西与真正令人振奋的东西区分开来。Linux内核被称为创新,但它又被称为现代计算中最大的奇迹,一个微观世界中的庞然大...

阮鹏
昨天
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部