文档章节

ELK学习1:搭建

 滑稽阿狸
发布于 2016/10/23 12:55
字数 635
阅读 33
收藏 0

最近一直都在学习ELK,尤其是在Linux下搭建,从十一开始接触linux和ELK。学的真是一脸茫然 。

1:下载安装包 
官网下载安装包 https://www.elastic.co/downloads。这个下最新的就可以啦。我用的就是 
这里写图片描述 
至于JDK。我用的就是 
Java version “1.7.0_75” 
Java(TM) SE Runtime Environment (build 1.7.0_75-b13) 
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode) 
2:开始搭建(新手linux适用) 
第一步:预先开通端口 
vim /etc/sysconfig/iptables 
添加防火墙信息(复制黏贴更改端口为9200 9300 5601) 
service iptables restart

3:添加用户: 
groupadd 组名 
useradd –g 组名 用户名 
passwd 用户名

4:安装elasticssearch 
解压:tar -zxvf elasticsearch-2.4.1.tar.gz 
修改配置文件: 
vi elasticsearch-2.4.1/config/elasticsearch.yml 
内容: 
cluster.name: my-application 
node.name : node-0 
network.host: 192.168.56.101 
http.port: 9200 

5: 
设置权限,把elasticsearch-2.4.1文件夹权限赋给新用户 
chown -R hello:hello elasticsearch-2.4.1 
这里写图片描述 
还有一个是logs下面的文件,也要赋权限。 
这里写图片描述 
这里写图片描述

6:安装插件 都是在elasticsearch中 
head插件:./bin/plugin install mobz/elasticsearch-head 
bigdesk插件:./bin/plugin install AIsaac08/bigdesk (只适合2.0以上版本)

7:启动,测试 
一定要使用刚才的用户来启动,这个es只能是非root用户才可以 
启动 ./bin/elasticsearch & 
结果: 
这里写图片描述 
head插件效果 
这里写图片描述 

bigdesk效果 
这里写图片描述

8:logstash安装 
解压,就可以了。tar -zxvf logstash-2.X.X tar.gz

编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为001.conf): 
vi config/001.conf

input {

    file {
        path => "E:/SOFTALL/ELKoldlogs/filelog.txt"
        type => "logs"
        start_position => "beginning"
    }
}
filter {

}

output {


elasticsearch {

        hosts => "192.168.56.101"
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        workers => 10
        template_overwrite => true
    }
}

启动001.conf文件 
./bin/logstash agent -f config/001.conf

9:安装kibana 
tar -zxvf kibana-4.6.1-linux-x86_64.tar.gz 
修改配置 
vi config/kibana.yml 
server.port: 5601 
server.host: “192.168.56.101” 
elasticsearch.url: http://192.168.56.101:9200 
kibana.index: “.kibana” 
10:启动测试 
./bin/kibana localhost修改为192.168.56.101 
这里写图片描述
为了后续使用Kibana,需要配置至少一个Index名字或者Pattern,它用于在分析时确定ES中的Index。这里我输入之前配置的Index名字logstash-*,Kibana会自动加载该Index下doc的field,并自动选择合适的field用于图标中的时间字段: 
11点击Create后,可以看到左侧增加了配置的Index名字:

12:切换到Discover标签上,注意右上角是查询的时间范围,如果没有查找到数据,那么你就可能需要调整这个时间范围了,这里我选择Today: 
或者是你在日志文件中手动添加几行日志,刷新就可以了。 
这里写图片描述

© 著作权归作者所有

共有 人打赏支持
粉丝 1
博文 8
码字总数 3930
作品 0
上海
渣渣菜鸡为什么要看 ElasticSearch 源码?

前提 人工智能、大数据快速发展的今天,对于 TB 甚至 PB 级大数据的快速检索已然成为刚需,大型企业早已淹没在系统生成的浩瀚数据流当中。大数据技术业已集中在如何存储和处理这些海量的数据...

Java小铺
08/10
0
0
初探 ELK - 每天5分钟玩转 Docker 容器技术(89)

在开源的日志管理方案中,最出名的莫过于 ELK 了。ELK 是三个软件的合称:Elasticsearch、Logstash、Kibana。 Elasticsearch 一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是...

CloudMAN
2017/11/03
0
0
使用ELK构建微服务的日志平台

1 概述 在微服务架构中,会部署众多的应用,其中有基础应用,比如:网关,服务发现等。同时还有大量的业务应用。所以,如何有效的收集它们的日志,并且方便查询,同时提供友好的可视化展示,...

Java大蜗牛
08/18
0
0
Elasticsearch中文分词研究

一、ES分析器简介 ES是一个实时搜索与数据分析引擎,为了完成搜索功能,必须对原始数据进行分析、拆解,以建立索引,从而实现搜索功能; ES对数据分析、拆解过程如下: 首先,将一块文本分成...

zhaipengfei1231
04/18
0
0
渣渣菜鸡的 ElasticSearch 源码解析 —— 启动流程(下)

关注我 转载请务必注明原创地址为:http://www.54tianzhisheng.cn/2018/08/12/es-code03/ 前提 上篇文章写完了 ES 流程启动的一部分,main 方法都入口,以及创建 Elasticsearch 运行的必须环...

zhisheng_tian
08/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

smart-doc特殊功能使用介绍

smart-doc从8月份底开始开源发布到目前为止已经迭代了几个版本。在这里非常感谢那些敢于用smart-doc去做尝试并积极提出建议的社区用户。因此决定在本博客中重要说明下smart-doc的功能,包括使...

上官胡闹
昨天
0
0
JavaEE——Junit

声明:本栏目所使用的素材都是凯哥学堂VIP学员所写,学员有权匿名,对文章有最终解释权;凯哥学堂旨在促进VIP学员互相学习的基础上公开笔记。 Junit Junit又名单元测试,Junit是用来测试Jav...

凯哥学堂
昨天
0
0
读《美丽新世界》

一、背景 十一国庆节从重庆回深圳的时候,做得绿皮车,路上看了两本书:李笑来的《韭菜的自我修养》和禁书《美丽新世界》。 上篇文章已经分享了 读《韭菜的自我修养》,这篇文章来记录一下《...

tiankonguse
昨天
0
0
archlinux下基于Jenkins,docker实现自动化部署(持续交互)

本文永久更新地址:https://my.oschina.net/bysu/blog/2250954 【若要到岸,请摇船:开源中国 不最醉不龟归】 -----------------------------------第一部分Jenkins的安装与使用-----------...

不最醉不龟归
昨天
0
0
Spark Parquet file split

在实际使用 spark + parquet 的时候, 遇到了两个不解的地方: 我们只有一个 parquet 文件(小于 hdfs block size), 但是 spark 在某个 stage 生成了4个 tasks 来处理. 4个 tasks 中只有一个 ta...

Aaaaaaaron
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部