文档章节

ELK 环境部署详解

hming
 hming
发布于 2017/03/27 17:10
字数 1701
阅读 226
收藏 3

ELK简介

核心组成

ELK由Elasticsearch、Logstash和Kibana三部分组件组成;
Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,
restful风格接口,多数据源,自动搜索负载等。
Logstash是一个完全开源的工具,它可以对你的日志进行收集、分析,并将其存储供以后使用
kibana 是一个开源和免费的工具,它可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,
可以帮助您汇总、分析和搜索重要数据日志。

四大组件

Logstash: logstash server端用来搜集日志;
Elasticsearch: 存储各类日志;
Kibana: web化接口用作查寻和可视化日志;
Logstash Forwarder: logstash client端用来通过lumberjack 网络协议发送日志到logstash server;

ELK工作流程

在需要收集日志的所有服务上部署logstash,作为logstash agent(logstash shipper)用于监控并过滤收集日志,将过滤后
的内容发送到Redis,然后logstash indexer将日志收集在一起交给全文搜索服务ElasticSearch,可以用ElasticSearch进行
自定义搜索通过Kibana 来结合自定义 搜索进行页面展示。
ELK工作流程.jpg

ELK的帮助手册

ELK官网:https://www.elastic.co/
ELK官网文档:https://www.elastic.co/guide/index.html
ELK中文手册:http://kibana.logstash.es/content/elasticsearch/monitor/logging.html
注释:ELK有两种安装方式
(1)集成环境:Logstash有一个集成包,里面包括了其全套的三个组件;也就是安装一个集成包。
(2)独立环境:三个组件分别单独安装、运行、各司其职。(比较常用)

ELK环境搭建

logstash部署与配置

logstash安装

注释:logstash依赖JDK环境
首先 java -version 检查服务器java环境 如发现环境未安装 则先安装java环境

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz
tar zxf logstash-1.5.4.tar.gz -C /usr/local/
配置logstash的环境变量
echo "export PATH=\$PATH:/usr/local/logstash-1.5.4/bin" > /etc/profile.d/logstash.sh
. /etc/profile

logstash启动

logstash常用参数
-e :指定logstash的配置信息,可以用于快速测试;
-f :指定logstash的配置文件;可以用于生产环境;

logstash配置详解

下面我们使用 -e参数指定logstash的配置信息,用于快速测试,直接输出到屏幕

# logstash -e "input {stdin{}} output {stdout{}}"            
my name is MikePeng.    //手动输入后回车,等待10秒后会有返回结果
Logstash startup completed
2016-12-26T13:55:50.660Z 0.0.0.0 my name is MikePeng.
这种输出是直接原封不动的返回...

下面我们通过-e参数指定logstash的配置信息,用于快速测试,以json格式输出到屏幕。

# logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'
my name is MikePeng.    //手动输入后回车,等待10秒后会有返回结果
Logstash startup completed
{
      "message" => "my name is MikePeng.",
     "@version" => "1",
   "@timestamp" => "2016-12-26T13:57:31.851Z",
         "host" => "0.0.0.0"
}

logstash以配置文件方式启动

vim logstash-simple.conf 
----------------------------logstash-simple.conf----------------
input { stdin {} }
output {
  stdout { codec=> rubydebug }
}
----------------------------------------------------------------
logstash -f logstash-simple.conf    //普通方式启动
Logstash startup completed
logstash agent -f logstash-simple.conf --verbose //开启debug模式
Pipeline started {:level=>:info}
Logstash startup completed
hello world.    //手动输入hello world.
{
         "message" => "hello world.",
         "@version" => "1",
         "@timestamp" => "2016-12-26T14:01:43.724Z",
         "host" => "0.0.0.0"
}

logstash输出信息存储到redis

vim logstash_to_redis.conf
-------------------------- logstash_to_redis.conf ------------
input { stdin { } }
output {
   stdout { codec => rubydebug }
   redis {
       host => '192.168.201.73:7351'
       data_type => 'list'
       key => 'logstash:redis'
   }
}
---------------------------------------------------------------
注:如果提示Failed to send event to Redis,表示连接Redis失败或者没有安装,请检查...
查看logstash的监听端口号
logstash agent -f logstash_to_redis.conf --verbose
netstat -tnlp |grep java
tcp        0      0 :::9301                     :::*                        LISTEN      1326/java

logstash消费kafka消息并写入elasticsearch

vim kafka_logstash_elasticsearch.conf
-------------------------- kafka_logstash_elasticsearch.conf ----------------
input {
   kafka {
       zk_connect => "192.168.201.73:2181" #kafka border 
       group_id => "elk_consumer"      #所属消费组
       topic_id => "boyaa"             #消费的topic
       reset_beginning => false        
       consumer_threads => 5
       decorate_events => true
   }
}
output {
    elasticsearch {
       host => "192.168.201.73"
       codec => "json"
       protocol => "http"
    }
}
logstash agent -f kafka_logstash_elasticsearch.conf --verbose
-------------------------------------------------------------------------------

Elasticsearch 部署与配置

安装Elasticsearch

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.tar.gz
tar zxf elasticsearch-1.7.2.tar.gz -C /usr/local/

修改elasticsearch配置文件elasticsearch.yml

vim /usr/local/elasticsearch-1.7.2/config/elasticsearch.yml
-------------------------------elasticsearch.yml-----------------------------
discovery.zen.ping.multicast.enabled: false        #关闭广播,如果局域网有机器开9300 端口,服务会启动不了
network.host: 192.168.201.73    #指定主机地址,其实是可选的,但是最好指定因为后面跟kibana集成的时候会
                                #报http连接出错(直观体现好像是监听了:::9200 而不是0.0.0.0:9200)
http.cors.allow-origin: "/.*/"
http.cors.enabled: true     #这2项都是解决跟kibana集成的问题,错误体现是 你的 elasticsearch 版本过低,其实不是
-----------------------------------------------------------------------------

Elasticsearch 启动

/usr/local/elasticsearch-1.7.2/bin/elasticsearch          #日志会输出到stdout
/usr/local/elasticsearch-1.7.2/bin/elasticsearch -d       #表示以daemon的方式启动
nohup /usr/local/elasticsearch-1.7.2/bin/elasticsearch > /var/log/logstash.log 2>&1 &
netstat -tnlp |grep java      #查看elasticsearch的监听端口
tcp        0      0 :::9200                     :::*                        LISTEN      7407/java           
tcp        0      0 :::9300                     :::*                        LISTEN      7407/java

logstash+Elasticsearch整合

将logstash的信息输出到elasticsearch中
vim logstash-elasticsearch.conf 
----------------------------logstash-elasticsearch.conf-----------------------
input { stdin {} }
output {
   elasticsearch { host => "192.168.201.73" }    
   stdout { codec=> rubydebug }
}
------------------------------------------------------------------------------
/usr/local/logstash-1.5.4/bin/logstash agent -f logstash-elasticsearch.conf  #启动logstash
Pipeline started {:level=>:info}
Logstash startup completed
python linux java c++    //手动输入
{
         "message" => "python linux java c++",
         "@version" => "1",
         "@timestamp" => "2016-12-26T14:51:56.899Z",
         "host" => "0.0.0.0"
}

curl命令发送请求来查看elasticsearch是否接收到了数据

curl http://192.168.201.73:9200/_search?pretty
{
 "took" : 28,
 "timed_out" : false,
 "_shards" : {
   "total" : 5,
   "successful" : 5,
   "failed" : 0
 },
 "hits" : {
   "total" : 1,
   "max_score" : 1.0,
   "hits" : [ {
     "_index" : "logstash-2016.12.26",
     "_type" : "logs",
     "_id" : "AVBH7-6MOwimSJSPcXjb",
     "_score" : 1.0,
     "_source":{"message":"python linux java c++","@version":"1","@timestamp":"2016-12-26T14:51:56.899Z","host":"0.0.0.0"}
   } ]
 }
}

redis+logstash+Elasticsearch整合

vim redis-logstash-Elasticsearch.conf
---------------------------------- redis-logstash-Elasticsearch.conf ---------------------
input {
   redis {
       host => '192.168.201.73'  # 我方便测试没有指定password,最好指定password
       data_type => 'list'
       port => "6379"
       key => 'logstash:redis' #自定义
       type => 'redis-input'   #自定义
   }
}
output {
   elasticsearch {
       host => "192.168.201.73"
       codec => "json"
       protocol => "http"  #版本1.0+ 必须指定协议http
   }
}
------------------------------------------------------------------------------
/usr/local/logstash-1.5.4/bin/logstash agent -f redis-logstash-Elasticsearch.conf  #启动logstash

安装elasticsearch插件

注释:Elasticsearch-kopf插件可以查询Elasticsearch中的数据,安装elasticsearch-kopf,只要在你安装Elasticsearch的目录中执行以下命令即可:
cd /usr/local/elasticsearch-1.7.2/bin/
./plugin install lmenezes/elasticsearch-kopf
> Installing lmenezes/elasticsearch-kopf...
  Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...
  Downloading .............................................................................................
  Installed lmenezes/elasticsearch-kopf into /usr/local/elasticsearch-1.7.2/plugins/kopf

  执行插件安装后会提示失败,很有可能是网络等情况...
  -> Installing lmenezes/elasticsearch-kopf...
  Trying https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip...
  Failed to install lmenezes/elasticsearch-kopf, reason: failed to download out of all possible locations..., use --verbose to get detailed information
 
  解决办法就是手动下载该软件,不通过插件安装命令...
  cd /usr/local/elasticsearch-1.7.2/plugins
  wget https://github.com/lmenezes/elasticsearch-kopf/archive/master.zip
  unzip master.zip
  mv elasticsearch-kopf-master kopf 
  以上操作就完全等价于插件的安装命令
  
  netstat -tnlp |grep java
  tcp        0      0 :::9200                     :::*                        LISTEN      7969/java           
  tcp        0      0 :::9300                     :::*                        LISTEN      7969/java           
  tcp        0      0 :::9301                     :::*                        LISTEN      8015/java

浏览器访问kopf页面访问elasticsearch保存的数据

 

安装Kinaba

wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz
tar zxf kibana-4.1.2-linux-x64.tar.gz -C /usr/local
# vim /usr/local/kibana-4.1.2-linux-x64/config/kibana.yml
elasticsearch_url: "http://192.168.201.73:9200"
/usr/local/kibana-4.1.2-linux-x64/bin/kibana      #启动kinaba
输出以下信息,表明kinaba成功.
{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"No existing kibana index found","time":"2016-12-26T00:39:21.617Z","v":0}
{"name":"Kibana","hostname":"localhost.localdomain","pid":1943,"level":30,"msg":"Listening on 0.0.0.0:5601","time":"2016-12-26T00:39:21.637Z","v":0}
kinaba默认监听在本地的5601端口上
浏览器访问kinaba
http://192.168.201.73:5601/#/settings/indices/?_g=()

Kakfa+ELK 整合

© 著作权归作者所有

hming
粉丝 3
博文 88
码字总数 86648
作品 0
深圳
程序员
私信 提问
ES(elasticsearch)搜索引擎

ES(elasticsearch)搜索引擎 0、授人以渔,少走半年弯路! 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...

Ocean_K
2018/09/11
2.6K
6
spring-data-elasticsearch 基本案例详解(三)

『 风云说:能分享自己职位的知识的领导是个好领导。 』 运行环境:JDK 7 或 8,Maven 3.0+ 技术栈:SpringBoot 1.5+, Spring Data Elasticsearch 1.5+ ,ElasticSearch 2.3.2 本文提纲 一、...

夜黑人模糊灬
2018/05/13
990
1
CentOS7 部署 ElasticSearch 集群

环境 主机名 IP 操作系统 ES 版本 es227 192.168.1.227 CentOS7.5 6.5.4 es228 192.168.1.228 CentOS7.5 6.5.4 es229 192.168.1.229 CentOS7.5 6.5.4 下载 elasticsearch-6.5.4.tar.gz --- 各......

俊赛潘安-才比管乐
2018/12/27
515
0
Docker下ELK三部曲之三:K8S上的ELK和应用日志上报

本章是《Docker下ELK三部曲》系列的终篇,前面章节已经详述了ELK环境的搭建以及如何制作自动上报日志的应用镜像,今天我们把ELK和web应用发布到K8S环境下,模拟多个后台server同时上报日志的...

boling_cavalry
2018/04/30
0
0
自己动手制作elasticsearch-head的Docker镜像

版权声明:欢迎转载,请注明出处,谢谢。 https://blog.csdn.net/boling_cavalry/article/details/86663168 关于elasticsearch-head插件 通过elasticsearch-head插件可以更方便的查询es,观察...

博陵精骑
01/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 如果是个帅小伙你愿意和他出去吗

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 小小编辑推荐:《Ghost 》游戏《死亡搁浅》原声 《Ghost 》游戏(《死亡搁浅》原声) - Au/Ra / Alan Walker 手机党少年们想听歌,请使劲儿戳...

小小编辑
25分钟前
24
3
java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
16
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部