文档章节

Elasticsearch学习(六):Elasticsearch创建

田忌赛码
 田忌赛码
发布于 2017/08/17 15:40
字数 1345
阅读 185
收藏 1

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

一、创建索引index

创建名为newindex的索引(索引名必须为小写): 提交请求newindex PUT,创建成功出现下面结果:

{
    "acknowledged": true
}

查看新建的索引:newindex GET,结果如下:

{
    "newindex": {
        "aliases": { },
        "mappings": { },
        "settings": {
            "index": {
                "creation_date": "1491980889980",
                "uuid": "DvFfvO0JQ46Bbb0u64rgsw",
                "number_of_replicas": "1",
                "number_of_shards": "5",
                "version": {
                    "created": "2040499"
                }
            }
        },
        "warmers": { }
    }
}    

索引的两个重要配置: number_of_replicas 副本数量(默认1) number_of_shards 分片数量(默认5) 创建索引时自定义副本和分片数量:

newindex1 PUT

{
  "settings": {
    "index": {
      "number_of_replicas": "3",
      "number_of_shards": "3"
    }
  }
}

二、创建类型type

在索引newindex中创建名为newtype的类型:

newindex/newtype/_mapping PUT

{
  "newtype": {}
}

再查看索引newindex,结果如下:

{
    "newindex": {
        "aliases": { },
        "mappings": {
            "newtype": { }
        },
        "settings": {
            "index": {
                "creation_date": "1491980889980",
                "uuid": "DvFfvO0JQ46Bbb0u64rgsw",
                "number_of_replicas": "1",
                "number_of_shards": "5",
                "version": {
                "created": "2040499"
                }
            }
        },
        "warmers": { }
    }
}

发现"mappings"(映射)中多了newtype。

每个类型(type)拥有自己的映射(mapping)或者模式定义(schema definition),一个映射定义了字段,每个字段的数据类型,以及字段被Elasticsearch处理的方式。

新增一个定义映射的类型newtype1:

newindex/newtype1/_mapping PUT

{
  "newtype1": {
    "properties": {
      "id": {
        "type": "long"
      },
      "name": {
        "type": "string",
        "index": "not_analyzed"
      },
      "birth": {
        "type": "date"
      }
    }
  }
}

查看新创建的newtype1的映射:

newindex/_mapping/newtype1 GET

{
    "newindex": {
        "mappings": {
            "newtype1": {
                "properties": {
                    "birth": {
                        "type": "date",
                        "format": "strict_date_optional_time||epoch_millis"
                    },
                    "id": {
                        "type": "long"
                    },
                    "name": {
                        "type": "string",
                        "index": "not_analyzed"
                    }
                }
            }
        }
    }
}

三、索引文档

向es中添加一个文档:

newindex/newtype1/1 PUT

{
    "id": 1,
    "name": "张三",
    "birth": "2017-01-02"
}

返回结果如下,添加成功:

{
    "_index": "newindex",
    "_type": "newtype1",
    "_id": "1",
    "_version": 1,
    "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
    },
    "created": true
}

查看文档:

newindex/newtype1/1 GET

{
    "_index": "newindex",
    "_type": "newtype1",
    "_id": "1",
    "_version": 1,
    "found": true,
    "_source": {
        "id": 1,
        "name": "张三",
        "birth": "2017-01-02"
    }
}

创建索引、类型,添加文档可以通过一条指令完成:

myindex/mytype/1 PUT
{
"id": 1,
"name": "张三",
"birth": "2017-01-02"
}

Elasticsearch检测索引、类型不存在时会自动创建,自动创建索引由配置项action.auto_create_index控制,默认开启为true

四、动态映射

如果上面执行操作前,ES中没有myindex这个索引,那么默认会直接创建这个索引;并且type字段也会自动创建。也就是说,ES并不需要像传统的数据库事先定义表的结构。每个索引中的类型都有一个mapping映射,这个映射是动态生成的,因此当增加新的字段时,会自动增加mapping的设置。

通过在配置文件中设置action.auto_create_indexfalse,可以关闭自动创建index这个功能。 自动创建索引功能,也可以设置黑名单或者白名单,比如: 设置action.auto_create_index+aaa*,-bbb*,'+'号意味着允许创建aaa开头的索引,'-'号意味着不允许创建bbb开头的索引。

通过设置dynamic控制动态映射,可选值:

  • true:自动添加字段(默认)
  • false:忽略字段
  • strict:当遇到未知字段时抛出异常

向索引myindex中添加类型strict_type:

myindex/strict_type/_mapping PUT

{
  "strict_type": {
    "dynamic": "strict",
    "properties": {
      "title": {
        "type": "string"
      },
      "stash": {
        "type": "object",
        "dynamic": true
      }
    }
  }
}

将 strict_type 的动态映射设置为了strict,意味着如果向 myindex/strict_type 中添加文档时,如果文档中含有除 title 和 stash 的其他字段时,会抛出异常。测试一下:

myindex/strict_type/1 PUT

{
  "title": "加一个新字段content",
  "content": "未知字段会抛出异常"
}

结果如下:

{
    "error": {
    "root_cause": [
        {
            "type": "strict_dynamic_mapping_exception",
            "reason": "mapping set to strict, dynamic introduction of [content] within [strict_type] is not allowed"
        }
    ],
    "type": "strict_dynamic_mapping_exception",
    "reason": "mapping set to strict, dynamic introduction of [content] within [strict_type] is not allowed"
    },
    "status": 400
}

但是我们在字段 stash 中将dynamic设置为了true,意味着在 stash 对象内可以新增字段,测试一下:

myindex/strict_type/2 PUT

{
  "title": "在stash中加一个新字段content",
  "stash": {
    "content": "这下可以加进来了"
  }
}

结果添加成功:

{
    "_index": "myindex",
    "_type": "strict_type",
    "_id": "2",
    "_version": 1,
    "_shards": {
        "total": 2,
        "successful": 2,
        "failed": 0
    },
    "created": true
}

五、自定义动态映射

使用dynamic_templates,可以完全控制新字段的映射,可以通过设置字段名或数据类型等应用一个完全不同的映射。

向索引 myindex 中添加一个自定义动态映射的类型 my_dynamic_type :

myindex/my_dynamic_type/_mapping PUT

{
  "my_dynamic_type": {
    "dynamic_templates": [
      {
        "ord": {
          "match": "*_ord",
          "match_mapping_type": "string",
          "mapping": {
            "type": "string",
            "index": "not_analyzed"
          }
        }
      },
      {
        "date": {
          "match": "date_*",
          "match_mapping_type": "string",
          "mapping": {
            "type": "date",
            "ignore_malformed": true
          }
        }
      }
    ]
  }
}

my_dynamic_type 的映射使用了动态模板,在动态模板dynamic_templates中:

  • 定义了一个名为ord的模板,这个模板匹配所有以 _ord 结尾("match": "*_ord")字符串类型("match_mapping_type": "string")的字段,将此类字段类型映射为字符串并索引的时候不做解析("mapping": {"type": "string","index": "not_analyzed"}

  • 定义了一个名为date的模板,这个模板匹配所有以 date_ 开头("match": "date_*")字符串类型("match_mapping_type": "string")的字段,将此类字段类型映射为日期类型,并且忽略不能格式化为日期的值("mapping": {"type": "date","ignore_malformed": true}

看下效果:

myindex/my_dynamic_type/1 PUT

{
  "id": 1,
  "name": "张三",
  "date_birth": "20170923",
  "name_ord": "张三"
}

插入文档后查看 my_dynamic_type 的映射:

myindex/_mappping/my_dynamic_type GET

{
    "myindex": {
        "mappings": {
            "my_dynamic_type": {
                "dynamic_templates": [ { "ord": { "mapping": { "type": "string","index": "not_analyzed"},"match": "*_ord","match_mapping_type": "string"}},{ "date": { "mapping": { "type": "date","ignore_malformed": true},"match": "date_*","match_mapping_type": "string"}}],
                "properties": {
                    "date_birth": {
                        "type": "date",
                        "ignore_malformed": true,
                        "format": "strict_date_optional_time||epoch_millis"
                    },
                    "id": {
                        "type": "long"
                    },
                    "name": {
                        "type": "string"
                    },
                    "name_ord": {
                        "type": "string",
                        "index": "not_analyzed"
                    }
                }
            }
        }
    }
}

可以看到properties中已经将name_ord字段映射为字符串类型,并不做解析;date_birth也映射为了日期类型,再插入一个文档:

myindex/my_dynamic_type/2 PUT

{
  "id": 2,
  "name": "李四",
  "date_birth": "未知",
  "name_ord": "李四"
}

插入成功,date_birth字段也可以接受不能被格式化为日期的值。

关于动态映射更多配置语法请参考官方文档:

https://www.elastic.co/guide/en/elasticsearch/reference/2.4/dynamic-templates.html

https://www.elastic.co/guide/en/elasticsearch/reference/2.4/mapping.html

© 著作权归作者所有

田忌赛码
粉丝 5
博文 7
码字总数 6036
作品 0
济南
程序员
私信 提问
加载中

评论(0)

Filebeat+ELK日志系统

架构图 filebat logstash grok 地址 grok地址一 grok地址二(推荐使用) elasticsearch 基于elasticsearch6.3.2 elasticsearch(一) 之 elasticsearch初识 elasticsearch(二) 之 elasticsea......

自由早晚乱余生
2018/12/10
0
0
ES(elasticsearch)搜索引擎

ES(elasticsearch)搜索引擎 0、授人以渔,少走半年弯路! 死磕 Elasticsearch 方法论:普通程序员高效精进的 10 大狠招! 一、Elasitcsearch基础篇 1.1 Elasitcsearch基础认知 1、Elasticse...

Ocean_K
2018/09/11
4.9K
6
Asp.NetCore+Elasticsearch+Kibana日志记录

之前看留言一篇关于Elasticsearch搜索引擎的文章,今天试着用Elasticsearch写了一下日志统计的Demo,下面就记录一下 Asp.NetCore+Elasticsearch+Kibana日志记录 的使用过程 一、安装Elastic...

osc_havqwnro
2019/08/01
2
0
Python学习笔记 - 02: 用Python Client连接ElasticSearch操作数据

Python Elasticsearch Client 是 ES 官方推荐的 python 客户端,这里以它为工具操作 elasticsearch 一、环境依赖 Python:3.6 ES依赖包:pyelasticsearch ElasticSearch:6.5.4 操作系统:M...

dragon_tech
2019/03/13
112
0
Elasticsearch-6.7.0系列-Joyce博客总目录

官方英文文档地址:https://www.elastic.co/guide/index.html Elasticsearch博客目录 Elasticsearch-6.7.0系列(一)9200端口 .tar.gz版本centos7环境--下载安装运行 Elasticsearch-6.7.0系列...

osc_3rll7emc
2019/04/06
10
0

没有更多内容

加载失败,请刷新页面

加载更多

SQL Server 并发控制 第三篇:隔离级别和行版本(2)

SQL Server 并发控制 第一篇:并发模式和事务 SQL Server 并发控制 第二篇:隔离级别和锁(1) SQL Server 并发控制 第三篇:隔离级别和行版本(2) 隔离级别定义事务处理数据读取操作的隔离...

osc_x5cptzgg
23分钟前
8
0
[Deprecation] Synchronous XMLHttpRequest on the main thread is deprecated because of its detrimen...

关于AJAX 同步请求(我没分了)_已解决_博问_博客园 https://q.cnblogs.com/q/70126/ jquery - JavaScript console.log causes error: "Synchronous XMLHttpRequest on the main thread is d......

osc_cxi2ewsx
24分钟前
15
0
python pip install指定国内源镜像

  有时候安装一些依赖包,网不好,直接超时,或者这个包就是死都下不下来的时候,可以指定国内源镜像。   pip install -i 国内镜像地址 包名   e.g. pip install -i http://mirrors.al...

osc_ym1l2qni
25分钟前
15
0
uniapp打包发版到linux服务器步骤----H5端

最近在写uni-app项目,项目打包部署到服务器后,搞了好一会一直打开是空白页,原来自己有几个地方疏忽了,现把步骤整理一下: 第1步:编辑配置 mainifest.json 文件 tip:运行的基础路径,我...

osc_2sv5yx4m
25分钟前
17
0
.NET Core微服务之基于Ocelot实现API网关服务(续)

Tip: 此篇已加入.NET Core微服务基础系列文章索引 一、负载均衡与请求缓存 1.1 负载均衡   为了验证负载均衡,这里我们配置了两个Consul Client节点,其中ClientService分别部署于这两个节...

osc_ho8dcqsx
27分钟前
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部