文档章节

logstash、elasticsearch、kibana搭建日志平台

binhu
 binhu
发布于 2018/05/23 13:15
字数 826
阅读 396
收藏 14

1、下载logstash

      a、官方下载地址:https://www.elastic.co/downloads/logstash

      b、解压:tar -xzvf logstash-5.1.1.tar.gz

      c、设置用户测试的配置文件:vim logstatsh_test.conf,编辑内容如下:

input {
    stdin {
    }
}
output {
    stdout {
    codec => rubydebug {}
    }
}

      d、运行logstash测试:bin/logstash -f logstatsh_test.conf,运行成功界面如下:

这里写图片描述

      e、logstash和elasticsearch整合:可以直接命令行启动如下

bin/logstash -e 'input{stdin{}}output{elasticsearch {hosts => "localhost:9200" index => "logstash_test"}
stdout{codec=>rubydebug}}'

      或者对logstatsh_test.conf进行修改如下

input{
    stdin{
    }
}
output{
    elasticsearch {
        hosts => "localhost:9200" 
        index => "logstash_test"
    }
    stdout{
        codec=>rubydebug
    }
}

      f、状态查看:

这里写图片描述

2、下载elasticsearch

      a、官方下载地址:https://www.elastic.co/downloads/elasticsearch

      b、解压:tar -xzvf elasticsearch-5.1.1.tar.gz

      c、配置文件:vim config/elasticsearch.yml

path.data: /data/es #数据路径
path.logs: /data/logs/es #日志路径
network.host: 本机地址 #服务器地址
http.port: 9200 #端口

      d、启动程序:/bin/elasticsearch

      e、访问:http://localhost:9200/ 查看elasticsearch是否成功运行。

这里写图片描述

      f、访问:http://localhost:9200/logstash_test/_search,查看logstash_test这个index下的日志信息。

这里写图片描述

3、下载下载kibana

      a、官方下载地址:https://www.elastic.co/downloads/kibana

      b、解压:tar -xzvf kibana-5.1.1.tar.gz

      c、设置配置文件:打开config/kibana.yml,修改如下内容

//启动端口 因为端口受限 所以变更了默认端口
server.port: 8601
//启动服务的ip
server.host: "本机ip"
//elasticsearch地址
elasticsearch.url: "http://localhost:9200”

      d、启动程序:bin/kibana

      e、访问:http://localhost:8610/查看kibana是否成功运行,并检索查看已存入的信息。

这里写图片描述

4、注意:

      a、elasticsearch和kibana版本要对应,否则服务起不来。

      b、如果浏览器中访问http://localhost:9200/没有返回预期的结果,就需要修改Elasticsearch的配置,使其支持外网访问。首先,按Ctrl +C停止Elasticsearch,然后,打开Elasticsearch的配置文件vimconfig/elasticsearch.yml,找到network.host这一行。

这里写图片描述

      c、max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144] 
解决:切换到root用户修改配置sysctl.conf 
     vi /etc/sysctl.conf 
添加下面配置: 
     vm.max_map_count=655360 
并执行命令: 
     sysctl -p

      d、max number of threads [1024] for user [lish] likely too low, increase to at least [2048] 
解决:切换到root用户,进入limits.d目录下修改配置文件。 
     vi /etc/security/limits.d/90-nproc.conf 
修改如下内容: 
     soft nproc 1024 
修改为 
      soft proc 2048

      e、 ERROR: bootstrap checks failed max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] max number of threads [1024] for user [lishang] likely too low, increase to at least [2048] 
解决:切换到root用户,编辑limits.conf 添加类似如下内容 
      vi /etc/security/limits.conf 
添加如下内容: 
      soft nofile 65536 
      hard nofile 131072 
      soft nproc 2048 
      hard proc 4096

      f、useradd: cannot open /etc/group;useradd: cannot open /etc/gshadow;useradd: cannot open /etc/passwd;useradd: cannot open /etc/shadow 
1、lsattr /etc/group 
     —-i——–e- /etc/group 
2、chattr -i /etc/group 依次去掉group、gshadow、passwd、shadow 
3、创建elsearch用户组及elsearch用户 
     groupadd elasticsearch 
4、更改elasticsearch文件夹及内部文件的所属用户及组为elasticsearch: elasticsearch 
     useradd elasticsearch -g elsearch -p elasticsearch 
     cd /elasticsearch-5.1.1 
     chown -R elasticsearch: elasticsearch elasticsearch-5.1.1 
5、切换到elasticsearch用户再启动 
     su elasticsearch 
     cd elasticsearch 
     ./bin/elasticsearch

      g、logstash启动报错

[2016-12-28T17:49:08,367][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>#<URI::HTTP:0x1deb02b URL:http://10.129.28.149:9200>, :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::BadResponseCodeError, :error=>"Got response code '401' contact Elasticsearch at URL 'http://10.129.28.149:9200/'"}
  •  

     如果重新设置了密码,但是没有配置密码,就需要像下面一样配置一下。

配置logstash.conf
output {
  elasticsearch {
    ...
    user => logstash_internal
    password => changeme
  }

编程实践6—Elasticsearch6.0 最新版本安装问题 

© 著作权归作者所有

binhu
粉丝 19
博文 209
码字总数 205648
作品 0
合肥
私信 提问
基于ELK 搭建网站流量可视化监控平台

ELK 组成:: 通过上图我们可以看到,ELK 是由三个Elastic 的产品组合而成, 分别是ElasticSearch、Logstash 和Kibana。 三者之间是的部署关系如下图所示: 基本工作原理如下图所示: Logsta...

Java搬砖工程师
2018/12/21
284
0
Docker搭建Elastic Stack日志分析平台

序 因为工作需要打算搭建一个数据抽取平台,发现Elastic Stack能满足。同时为了方便部署,故此采用docker来搭建。本次搭建为单机部署。 1 准备工作 下载顺序: Elasticsearch(其中包含X-Pac...

戴的天
2017/03/09
389
0
CentOS7.3下ELK日志分析系统集群搭建

Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎,此外他还是一个分布式实时文档存储,其中每个文档的每个filed均是可被索引的数据,且可被搜索,也是一个带实时分...

wujunqi1996
2018/07/14
0
0
使用ELK构建微服务的日志平台

1 概述 在微服务架构中,会部署众多的应用,其中有基础应用,比如:网关,服务发现等。同时还有大量的业务应用。所以,如何有效的收集它们的日志,并且方便查询,同时提供友好的可视化展示,...

Java大蜗牛
2018/08/18
81
0
小白都会超详细--ELK日志管理平台搭建教程

目录 一、介绍 二、安装JDK 三、安装Elasticsearch 四、安装Logstash 五、安装Kibana 六、Kibana简单使用 系统环境:CentOS Linux release 7.4.1708 (Core) 当前问题状况 开发人员不能登录线...

渣渣辉
2018/07/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

关于AsyncTask的onPostExcute方法是否会在Activity重建过程中调用的问题

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 本文链接:https://blog.csdn.net/XG1057415595/article/details/86774575 假设下面一种情况...

shzwork
今天
7
0
object 类中有哪些方法?

getClass(): 获取运行时类的对象 equals():判断其他对象是否与此对象相等 hashcode():返回该对象的哈希码值 toString():返回该对象的字符串表示 clone(): 创建并返此对象的一个副本 wait...

happywe
今天
6
0
Docker容器实战(七) - 容器中进程视野下的文件系统

前两文中,讲了Linux容器最基础的两种技术 Namespace 作用是“隔离”,它让应用进程只能看到该Namespace内的“世界” Cgroups 作用是“限制”,它给这个“世界”围上了一圈看不见的墙 这么一...

JavaEdge
今天
8
0
文件访问和共享的方法介绍

在上一篇文章中,你了解到文件有三个不同的权限集。拥有该文件的用户有一个集合,拥有该文件的组的成员有一个集合,然后最终一个集合适用于其他所有人。在长列表(ls -l)中这些权限使用符号...

老孟的Linux私房菜
今天
7
0
面试套路题目

作者:抱紧超越小姐姐 链接:https://www.nowcoder.com/discuss/309292?type=3 来源:牛客网 面试时候的潜台词 抱紧超越小姐姐 编辑于 2019-10-15 16:14:56APP内打开赞 3 | 收藏 4 | 回复24 ...

MtrS
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部