文档章节

【原创】Elasticsearch 之 Index Pattern 和 Index Template

摩云飞
 摩云飞
发布于 2017/05/23 10:27
字数 762
阅读 1132
收藏 0

Index Pattern V.S. Index Template

Index Pattern

Kibana 未导入 Index Pattern 前

  • 每一种加载到 Elasticsearch 中的数据集都具有一种 index pattern ;

  • index pattern 就是能够匹配多个 index 的、带有可选通配符(wildcards)的字符串;

    举例:针对常规的日志处理场景,一种比较典型的 index 名字将具有 YYYY.MM.DD 格式的日期,相应的,针对 5 月的 index pattern 看起来类似 logstash-2015.05*

  • 如果数据源提供的数据内容确定包含 time-series 数据(例如将 Logstash 作为数据源时),则在点击 Add New 定义 index 时,请务必勾选上 Index contains time-based events 复选框,并从 Time-field name 下拉列表中选择 @timestamp 字段(field);

注意:当你定义一个 index pattern 时,匹配该 pattern 的 indices 必须事先已经存在于 Elasticsearch 之中;并且这些 indices 必须包含了数据内容;

Configure an Index Pattern

  • 为了使用 Kibana ,你必须通过配置一个或多个 index patterns 告诉它你想要使用哪些 Elasticsearch indices ;
  • Kibana 会查找匹配指定 pattern 的 index 名字;pattern 中出现的星号 (*) 用于匹配零个或多个字符;
  • index pattern 也可以简单的设置为单独一个 index 的名字;
  • 若想在 index 名字中使用 event time ,可以在 pattern 中使用 [] 将静态文本括起来,之后再指定日期格式;例如 [logstash-]YYYY.MM.DD 能够匹配 logstash-2015.01.31logstash-2015-02-01
  • 在你浏览 Discover 页面时,设置成默认的 index pattern 将会被自动加载;Kibana 会在默认 pattern 左侧显示一个星星;你所创建的首个 pattern 自动被指定为默认 pattern ;
  • 当你添加了一个 index mapping 后,Kibana 会自动扫描(scans)匹配 pattern 的 indices 以变显示(新的)index fields 列表;你也可以重新加载 index fields 列表以便获取任意新加的 fields ;

参考:

Index Template

  • Index templates 允许你定义 templates ,以便在新 indices 被创建时自动被应用;
  • templates 内容由 settings 和 mappings 构成,以及一个简单的 pattern template 用于控制当前 template 是否被应用到新 index 上;

    pattern template 其实就是创建模版时在 JSON 内容中设置的 "template": "<regex>"

  • Templates 仅在 index 创建时被应用;变更一个 template 不会对已经存在 indices 造成影响;
  • Index templates 提供了 C 风格的 /* */ 块注释;注释内容允许出现在 JSON 文档的任何位置,除了 JSON 的初始 '{' 之上;
  • 多个 index templates 可能同时匹配到同一个 index 上,在这种情况下,settings 和 mappings 内容会合并为目标 index 的最终配置;而合并的顺序可以基于 order 参数进行控制,order 值越小越优先被应用,而值越大越后被应用(实现覆盖效果);
  • Templates 可以选择性添加一个 version 字段指定版本号信息(其值为任意整数),以便简化外部系统对 template 进行管理;若要重置一个版本号,只需简单的使用未指定版本号的 template 进行替换;

参考:

© 著作权归作者所有

摩云飞
粉丝 371
博文 534
码字总数 952694
作品 0
徐汇
程序员
私信 提问
Elastic stack--ES/kibana/filebeat/metricbeat

背景: 这篇文章主要是本人结合公司有关监控,详细介绍一下Elastic stack的几个组件:Elasticsearch/kibana/filebeat/metricbeat,通过安装配置部署,以及具体的case来介绍这四个组件,有关一...

Darren_Chen
2018/06/05
0
0
Docker 部署ELK 日志分析

Docker 部署ELK 日志分析 elk集成镜像包 名字是 sebp/elk 安装 docke、启动 yum install docke service docker start Docker至少得分配3GB的内存;不然得加参数 -e ESMINMEM=128m -e ESMAXM...

yikayi
2018/06/08
0
0
Docker 部署ELK 日志分析

Docker 部署ELK 日志分析 elk集成镜像包 名字是 sebp/elk 安装 docke、启动 yum install docke service docker start Docker至少得分配3GB的内存;不然得加参数 -e ESMINMEM=128m -e ESMAXM...

yikayi
2018/06/08
0
0
Elasticsearch 实战案例(索引切分、模板、别名、数据迁移)

背景 基于ELK搭建的日志平台,前期匆忙建设过程中一些参数和设计未做过多的考虑,上线后就需要不断根据实际情况做调整,而一些调整限于ELK的一些特性,一旦操作不当就会出现丢数据、数据写入...

高广超
01/15
0
0
CTO详细讲解海量日志处理ELK

ELK实时日志分析平台之Elasticsearch简介 Elasticsearch是一个高度灵活的开源全文检索和分析引擎。它能够迅速(几乎是实时地)地存储、查找和分析大规模数据。通常被用在有复杂的搜索要求的系...

Java架构分享
2018/05/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Odoo 自定义Widgets 基础教程(章节2)

大家好, 本文将进一步解释odoo widget 的相关原理,其中首先会讲述:1. 什么是widgets 中的继承;2. 为什么有很多 init : function 语法;3. widgets 系统结构; 首先,让我们来看看结构:(...

openerp
15分钟前
0
0
我的Linux常用软件

我的Linux常用软件 本帖记录我在Linux下常用的软件,系统是Deepin Linux, 以备查询用, 不定期更新。 Sougou Pinyin 这个不用多说, 装系统第一个要找输入法。 TeamViewer Linux有时候需要远...

Frank1126lin
22分钟前
0
0
TypeScript + eslint 格式化代码及其它

缘起 之前使用 tslint 校验代码格式,后来发现 ts 官方已经放弃这个转而使用 eslint,研究了一下把相应配置调整了一下。 目标: 使用 eslint、prettier 格式化 TypeScript 代码 使用 husky、...

郁也风
23分钟前
0
0
虎牙在全球 DNS 秒级生效上的实践

本文整理自虎牙中间件团队在 Nacos Meetup 的现场分享,阿里巴巴中间件受权发布。 这次分享的是全球 DNS 秒级生效在虎牙的实践,以及由此产生的一些思考,整体上,分为以下5各部分: 背景介绍...

阿里云云栖社区
41分钟前
1
0
centos7上记录sftp操作

ftp客户端中使用sftp协议如何记录操作日志? 经过实践,secure-crt上链接sftp session的操作不会被记录下来,命令行应该很少会用,毕竟门槛在呢。 而其他ftp客户端则会被记录下来,包括进入目...

gaolongquan
44分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部