文档章节

Logstash与Elasticsearch日志分析系统搭建

afreon
 afreon
发布于 2015/06/09 12:10
字数 347
阅读 1836
收藏 7

        logstash(1.4.2)是一个不错的日志监控与分析工具,数据通过logstash使用后端的ElasticSearch(1.1.1)集群完成数据索引,以供后续的查询、分析使用。版本必须保持兼容否则报一下错误

Upgrade Required Your version of Elasticsearch is too old. Kibana requires Elasticsearch 0.90.9 or above.
Error Could not reach http://182.92.7.29:9200/_nodes. If you are using a proxy, ensure it is configured correctly

版本不兼容问题造成的问题。


通过wget命令下载Logstash与Elasticsearch,具体如下:

官方地址:http://www.logstash.net/docs/1.4.2/

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

 wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.1.1.tar.gz

1、启动elasticsearch,代码如下:

/usr/local/search/elasticsearch-1.1.1/bin/elasticsearch

在/usr/local/search/logstash-1.4.2/目录下新建目录,代码如下:

mkdir conf
vi redis.conf

具体内容,代码如下:

input {

redis {
host => "123.57.47.154"
port =>"6379"
data_type =>"list"
key => "logstash:redis"
type => "redis-input"
}
file {
    path => "/usr/local/search/logs/log-2015-06-03.log"
}
}

output {

elasticsearch {
host =>"127.0.0.1"#内部IP地址(必须)
port => "9300"
cluster => "elasticsearch"
}

}


2、启动Logstash,代码如下:

/usr/local/search/logstash-1.4.2/bin/logstash -f /usr/local/search/logstash-1.4.2/conf/redis.conf

之后显示如下,说明启动成功。

Using milestone 2 input plugin 'file'. This plugin should be stable, but if you see strange behavior, please let us know! For more information on plugin milestones, see http://logstash.net/docs/1.4.2/plugin-milestones {:level=>:warn}


3、启动Logstash-web,代码如下:

/usr/local/search/logstash-1.4.2/bin/logstash-web


4、访问地址:

http://123.57.47.154:9292/index.html#/dashboard/file/logstash.json

存在数据说明成功了。

本文转载自:http://blog.yoodb.com/yoodb/article/detail/283

共有 人打赏支持
afreon
粉丝 20
博文 41
码字总数 5285
作品 0
海淀
架构师
私信 提问
CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享
05/23
0
0
使用ELK构建微服务的日志平台

1 概述 在微服务架构中,会部署众多的应用,其中有基础应用,比如:网关,服务发现等。同时还有大量的业务应用。所以,如何有效的收集它们的日志,并且方便查询,同时提供友好的可视化展示,...

Java大蜗牛
08/18
0
0
初探 ELK - 每天5分钟玩转 Docker 容器技术(89)

在开源的日志管理方案中,最出名的莫过于 ELK 了。ELK 是三个软件的合称:Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是...

CloudMAN
2017/11/03
0
0
ELK环境搭建(ElasticSearch+Logstash+kibana)

ELK是指Elasticsearch + Logstash + Kibaba三个组件的组合。本文讲解一个基于日志文件的ELK平台的搭建过程,有关ELK的原理以及更多其他信息,会在接下来的文章中继续研究。   在这个系统中...

阿恒灬
2017/10/31
0
0
小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
07/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

0011-如何在Hive & Impala中使用UDF

1.文档编写目的 本文档讲述如何开发Hive自定义函数(UDF),以及如何在Impala中使用Hive的自定义函数,通过本文档,您将学习到以下知识: 1.如何使用Java开发Hive的自定义函数 2.如何在Hive中...

Hadoop实操
13分钟前
1
0
toString();

package com.atguigu.java1; import java.util.Date; /** * toString()的使用: * * 1.java.lang.Object类中toString()定义如下: * public String toString() { return getClass().getName......

architect刘源源
23分钟前
0
3
不可不说的Java“锁”事

前言 Java提供了种类丰富的锁,每种锁因其特性的不同,在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码(本文中的源码来自JDK 8)、使用场景进行举例,为读者介绍主流锁的知识点...

Java干货分享
26分钟前
0
0
Java GoEasy 实现服务端推送和Web端推送

项目中需要消息推送,又想降低开发成本。Java服务器端推送,Web端接收推送信息。 具体需求: 需求一:系统框架实现全局异常捕获并录入日志表,实现实时推送消息到客户端页面展示。 需求二:系...

Gibbons
28分钟前
3
0
redis-集群

多个redis节点网络互联,数据共享 所有的节点都是一主一从(可以是多个从),其中从不提供服务,仅作为备用 不支持同时处理多个键(如mset/mget),因为redis需要把键均匀分布在各个节点上,...

chencheng-linux
33分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部