文档章节

Logstash与Elasticsearch日志分析系统搭建

afreon
 afreon
发布于 2015/06/09 12:10
字数 347
阅读 1843
收藏 7

        logstash(1.4.2)是一个不错的日志监控与分析工具,数据通过logstash使用后端的ElasticSearch(1.1.1)集群完成数据索引,以供后续的查询、分析使用。版本必须保持兼容否则报一下错误

Upgrade Required Your version of Elasticsearch is too old. Kibana requires Elasticsearch 0.90.9 or above.
Error Could not reach http://182.92.7.29:9200/_nodes. If you are using a proxy, ensure it is configured correctly

版本不兼容问题造成的问题。


通过wget命令下载Logstash与Elasticsearch,具体如下:

官方地址:http://www.logstash.net/docs/1.4.2/

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

 wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz

1、启动elasticsearch,代码如下:

/usr/local/search/elasticsearch-1.1.1/bin/elasticsearch

在/usr/local/search/logstash-1.4.2/目录下新建目录,代码如下:

mkdir conf
vi redis.conf

具体内容,代码如下:

input {

redis {
host => "123.57.47.154"
port =>"6379"
data_type =>"list"
key => "logstash:redis"
type => "redis-input"
}
file {
    path => "/usr/local/search/logs/log-2015-06-03.log"
}
}

output {

elasticsearch {
host =>"127.0.0.1"#内部IP地址(必须)
port => "9300"
cluster => "elasticsearch"
}

}


2、启动Logstash,代码如下:

/usr/local/search/logstash-1.4.2/bin/logstash -f /usr/local/search/logstash-1.4.2/conf/redis.conf

之后显示如下,说明启动成功。

Using milestone 2 input plugin 'file'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see http://logstash.net/docs/1.4.2/plugin-milestones {:level=>:warn}


3、启动Logstash-web,代码如下:

/usr/local/search/logstash-1.4.2/bin/logstash-web


4、访问地址:

http://123.57.47.154:9292/index.html#/dashboard/file/logstash.json

存在数据说明成功了。

本文转载自:http://blog.yoodb.com/yoodb/article/detail/283

共有 人打赏支持
afreon
粉丝 20
博文 41
码字总数 5285
作品 0
海淀
架构师
私信 提问
小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
2018/07/15
0
0
CentOS7.3下ELK日志分析系统集群搭建

Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎,此外他还是一个分布式实时文档存储,其中每个文档的每个filed均是可被索引的数据,且可被搜索,也是一个带实时分...

wujunqi1996
2018/07/14
0
0
CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享
2018/05/23
0
0
基于ELK 搭建网站流量可视化监控平台

ELK 组成:: 通过上图我们可以看到,ELK 是由三个Elastic 的产品组合而成, 分别是ElasticSearch、Logstash 和Kibana。 三者之间是的部署关系如下图所示: 基本工作原理如下图所示: Logsta...

Java搬砖工程师
2018/12/21
0
0
使用ELK构建微服务的日志平台

1 概述 在微服务架构中,会部署众多的应用,其中有基础应用,比如:网关,服务发现等。同时还有大量的业务应用。所以,如何有效的收集它们的日志,并且方便查询,同时提供友好的可视化展示,...

Java大蜗牛
2018/08/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

牛津词典 2018 年度词汇 ——「有毒」!

简评:本文并没有「标题党」,牛津词典公布的 2018 年度词汇就是 Toxic. 意为「有毒的」。 2018 was toxic. Toxic 这个词是什么意思呢? 牛津词典(Oxford Dictionaries)在 Word of the Da...

极光推送
12分钟前
0
0
浅谈Service Mesh体系中的Envoy

https://blog.csdn.net/yunqiinsight/article/details/81019255

易野
21分钟前
0
0
嵌入式应用选择合适的微控制器

准备所需硬件接口列表 使用微控制器的基本硬件框图,准备一份微控制器需要支持的所有外设接口的列表。微控制器中有两种常见的接口类型需要列出。第一种是通信接口,这些是外围设备,如USB,S...

linuxCool
29分钟前
3
0
Group by使用

概述 GROUP BY我们可以先从字面上来理解,GROUP表示分组,BY后面写字段名,就表示根据哪个字段进行分组,如果有用Excel比较多的话,GROUP BY比较类似Excel里面的透视表。 GROUP BY必须得配合...

小橙子的曼曼
40分钟前
4
0
机械臂写中文

Make Me a Hanzi https://www.skishore.me/makemeahanzi/ 使用uArm Swift Pro机械臂写中文-毛笔字 https://github.com/makelove/Robot_Arm_Write_Chinese...

itfanr
51分钟前
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部