文档章节

es的mapping定义

tuoleisi77
 tuoleisi77
发布于 2017/06/20 16:53
字数 391
阅读 40
收藏 0
es

我所用的是kibana的插件

地址:http:localhost:9200/_plugin/kopf/#!/indexTemplates

显示画面:

template 是你想定义的index name

示例我定义的一些mapping的模板

代码:

{
  "order": 0,
  "template": "test-*",
  "settings": {
    "index": {
      "number_of_replicas": "1",
      "number_of_shards": "3",
      "refresh_interval": "1s"
    }
  },
  "mappings": {
    "_default_": {
      "dynamic_templates": [
        {
          "page_url_field": {
            "mapping": {
              "index": "analyzed",
              "omit_norms": true,
              "fielddata": {
                "format": "disabled"
              },
              "type": "string",
              "fields": {
                "raw": {
                  "index": "not_analyzed",
                  "ignore_above": 512,
                  "doc_values": true,
                  "type": "string"
                }
              }
            },
            "match": "page_url",
            "match_mapping_type": "string"
          }
        },
        {
          "useragent_field": {
            "mapping": {
              "index": "analyzed",
              "omit_norms": true,
              "fielddata": {
                "format": "disabled"
              },
              "type": "string",
              "fields": {
                "raw": {
                  "index": "not_analyzed",
                  "ignore_above": 512,
                  "doc_values": true,
                  "type": "string"
                }
              }
            },
            "match": "useragent",
            "match_mapping_type": "string"
          }
        },
        {
          "page_referrer_field": {
            "mapping": {
              "index": "analyzed",
              "omit_norms": true,
              "fielddata": {
                "format": "disabled"
              },
              "type": "string",
              "fields": {
                "raw": {
                  "index": "not_analyzed",
                  "ignore_above": 512,
                  "doc_values": true,
                  "type": "string"
                }
              }
            },
            "match": "page_referrer",
            "match_mapping_type": "string"
          }
        },
        {
          "string_fields": {
            "mapping": {
              "index": "not_analyzed",
              "ignore_above": 10240,
              "doc_values": true,
              "type": "string"
            },
            "match": "*",
            "match_mapping_type": "string"
          }
        },
        {
          "float_fields": {
            "mapping": {
              "doc_values": true,
              "type": "float"
            },
            "match": "*",
            "match_mapping_type": "float"
          }
        },
        {
          "geolocation_fields": {
            "mapping": {
              "index": "not_analyzed",
              "type": "geo_point"
            },
            "match": "geolocation"
          }
        },
        {
          "loanAmount_fields": {
            "mapping": {
              "index": "not_analyzed",
              "type": "double"
            },
            "match": "loanAmount"
          }
        },
        {
          "collector_date_fields": {
            "mapping": {
              "index": "not_analyzed",
              "type": "string"
            },
            "match": "collector1_date"
          }
        },
        {
          "collector_time_fields": {
            "mapping": {
              "index": "not_analyzed",
              "format": "HH:mm:ss.SSS",
              "type": "date"
            },
            "match": "collector_time"
          }
        },
        {
          "double_fields": {
            "mapping": {
              "doc_values": true,
              "type": "double"
            },
            "match": "*",
            "match_mapping_type": "double"
          }
        },
        {
          "byte_fields": {
            "mapping": {
              "doc_values": true,
              "type": "byte"
            },
            "match": "*",
            "match_mapping_type": "byte"
          }
        },
        {
          "short_fields": {
            "mapping": {
              "doc_values": true,
              "type": "short"
            },
            "match": "*",
            "match_mapping_type": "short"
          }
        },
        {
          "integer_fields": {
            "mapping": {
              "doc_values": true,
              "type": "integer"
            },
            "match": "*",
            "match_mapping_type": "integer"
          }
        },
        {
          "long_fields": {
            "mapping": {
              "doc_values": true,
              "type": "long"
            },
            "match": "*",
            "match_mapping_type": "long"
          }
        },
        {
          "date_fields": {
            "mapping": {
              "doc_values": true,
              "type": "date"
            },
            "match": "*",
            "match_mapping_type": "date"
          }
        },
        {
          "geo_point_fields": {
            "mapping": {
              "doc_values": true,
              "type": "geo_point"
            },
            "match": "*",
            "match_mapping_type": "geo_point"
          }
        }
      ],
      "properties": {
        "@timestamp": {
          "doc_values": true,
          "type": "date"
        },
        "collector_tstamp": {
          "type": "string"
        },
        "geo_location": {
          "type": "geo_point"
        },
        "geoip": {
          "dynamic": true,
          "properties": {
            "location": {
              "doc_values": true,
              "type": "geo_point"
            },
            "longitude": {
              "doc_values": true,
              "type": "float"
            },
            "latitude": {
              "doc_values": true,
              "type": "float"
            },
            "ip": {
              "doc_values": true,
              "type": "ip"
            }
          },
          "type": "object"
        },
        "@version": {
          "index": "not_analyzed",
          "doc_values": true,
          "type": "string"
        }
      },
      "_all": {
        "enabled": false,
        "omit_norms": true
      }
    }
  },
  "aliases": {}
}

refresh_interval 如果想用spark实时查找es的话,这个参数最好是设置比spark batch时间小一些。不然查出来的数据错误

index 可以设置为not_analyzed 表示不分词 ,也可以设置为analyzed 表示分词,由于业务的需求,我这边没有设置分词

© 著作权归作者所有

上一篇: hive instr 函数
tuoleisi77
粉丝 4
博文 28
码字总数 43810
作品 0
深圳
程序员
私信 提问
elasticsearch5.4的mapping使用

在ES中,mapping相当于表结构,主要功能是告诉ES的每一个filed的数据类型,同时也告诉ES如何索引数据以及数据是否能被搜索到。   导入数据前要定义mapping表   ES有一个特点:可以不提前...

枫林飘影
2017/10/24
134
0
Elasticsearch系列(三)mapping详解

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u012834750/article/details/86659565 一、前言 Elasticsearch中mapping创建类似MYSQL中的表schema,本文大致...

淡淡的倔强
01/26
0
0
Elasticsearch搜索API使用一:创建索引并指定索引类型的mapping

ES默认是动态创建索引和索引类型的mapping的。这就相当于无需定义Solr中的Schema,无需指定各个字段的索引规则就可以索引文件,很方便。但有时方便就代表着不灵活。比如,ES默认一个字段是要...

go2school
2015/09/18
10.4K
2
Elasticsearch整合scrapy在AI量化引擎中的应用

采集到的数据的存储,我们使用elasticscarch,下文简称es。es是基于lucene的全文索引服务,lucene是一个全文索引的开发包,而es在此基础上扩展了很多搜索引擎必备的功能,而且提供的restful...

martinwei1982
2017/11/01
185
0
elasticsearch 之mapping

elasticsearch 之mapping 前言 在ES中,index相当于数据库,type相当于表,而mapping则相当于表结构。 简单来讲,elasticsearch会在你插入数据的时候,自动根据数据类型设置mapping格式。而且...

supperman
2016/12/25
9.1K
4

没有更多内容

加载失败,请刷新页面

加载更多

好程序员大数据学习路线分享函数+map映射+元祖

好程序员大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数...

好程序员官方
今天
6
0
tabel 中含有复选框的列 数据理解

1、el-ui中实现某一列为复选框 实现多选非常简单: 手动添加一个el-table-column,设type属性为selction即可; 2、@selection-change事件:选项发生勾选状态变化时触发该事件 <el-table @sel...

everthing
今天
6
0
【技术分享】TestFlight测试的流程文档

上架基本需求资料 1、苹果开发者账号(如还没账号先申请-苹果开发者账号申请教程) 2、开发好的APP 通过本篇教程,可以学习到ios证书申请和打包ipa上传到appstoreconnect.apple.com进行TestF...

qtb999
今天
10
0
再见 Spring Boot 1.X,Spring Boot 2.X 走向舞台中心

2019年8月6日,Spring 官方在其博客宣布,Spring Boot 1.x 停止维护,Spring Boot 1.x 生命周期正式结束。 其实早在2018年7月30号,Spring 官方就已经在博客进行过预告,Spring Boot 1.X 将维...

Java技术剑
今天
17
0
浅谈java过滤器Filter

一、简介 Servlet中的过滤器Filter是实现了javax.servlet.Filter接口的服务器端程序,主要的用途是过滤字符编码、做一些业务逻辑判断如是否有权限访问页面等。其工作原理是,只要你在web.xml...

青衣霓裳
今天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部