文档章节

Elasticsearch05重新索引

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:17
字数 1177
阅读 1
收藏 0

ElasticSearch允许我们对一个索引进行字段的新增, 但是不允许我们更改字段的类型或删除一个字段,因为这里面涉及到原有字段在创建的时候已经内部落实了倒排索引等工作,变更原有字段或删除已有字段会导致搜索不能正常工作。

下面依次按照我操作的思路和方法落实:

  • 创建一个索引(仅含映射, 不含文档)
  • 写入一些数据(文档)
  • 增加一个字段(property)
  • 修改一个字段的辅助属性(例如date的format)
  • 修改或删除一个字段(这里有说明没办法做这个事情)
  • 通过重新索引来达到我们对已有字段变更的目的(re-index)

创建一个索引(仅含映射, 不含文档)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.create(
    index="web_system",
    body={
        "mappings": {
            "user": {
                "properties": {
                    "nickname": {
                        "type": "string"
                    },
                    "username": {
                        "type": "string"  
                    },
                    "join_date":  {
                        "type": "date",
                        "format": "strict_date_hour_minute_second_millis"
                    },
                    "description": {
                        "type": "string",
                        "analyzer": "english"
                    }                    
                }
            }
        }
    }
)

pprint(s) 

写入一些数据(文档)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 单条写入
s = es.index(
    index="web_system",
    doc_type="user",
    id="1",
    body={
        "username": "张三",
        "nickname": "弓长III"
    }
)
pprint(s)

# 多条写入(批量)
s = es.bulk(
    index="web_system",
    doc_type="user",
    body=[
        {"create": {"_id": 2}},
        {"username": "李四", "nickname": "木子IV"},
        {"create": {"_id": 3}},
        {"username": "王五", "nickname": "钻石V"}
    ]
)

pprint(s)

增加一个字段(property)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.put_mapping(
    index="web_system",
    doc_type="user",
    body={
        "properties": {
            "age": {
                "type": "integer",
            }
        }
    }
)

pprint(s)

修改一个字段的辅助属性(例如date的format)

# -.- coding:utf-8 -.-
# 内置日期格式, 请参考这里:
# https://www.elastic.co/guide/en/elasticsearch
# /reference/current/mapping-date-format.html#built-in-date-formats
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.put_mapping(
    index="web_system",
    doc_type="user",
    body={
        "properties": {
            "date_join": {
                "type": "date",
                "format": "yyyy-MM-dd",
            },
        }
    }
)

pprint(s)

查看现在的索引信息

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.get_mapping(
    index="web_system",
    doc_type="user"
)

pprint(s)

# 输出结果
{'web_system': {
    'mappings': {
        'user': {
            'properties': {
                'age': {'type': 'string'},
                'description': {'analyzer': 'english', 'type': 'string'},
                'join_date': {'format': 'strict_date_hour_minute_second_millis', 'type': 'date'},
                'nickname': {'type': 'string'},
                'username': {'type': 'string'}
            }
        }
    }
}}

 
 

重新索引(re-index)

先建立一个别名
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

es.indices.put_alias(
    index="web_system",
    name="w_s",
)
然后再建立一个新的索引结构
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.create(
    index="web_system2",        # 这里定义个新的索引名称
    body={
        "mappings": {
            "user": {
                "properties": {
                    # 将age字段的string类型值更改为integer类型
                    "age": {"type": "integer"},
                    # 这里定义一个新的分析器
                    "description": {"type": "string", "analyzer": "standard"},
                    "join_date": {"format": "strict_date_hour_minute_second_millis", "type": "date"},
                    # 这里声明该字段是一个精确值, 而不是一个分析器
                    "nickname": {"type": "string", "index": "not_analyzed"},
                    # 这里声明该字段是一个精确值, 而不是一个分析器                    
                    "username": {"type": "string", "index": "not_analyzed"}
                }
            }
        }
    }
)

pprint(s)
然后开始迁移数据

数据迁移可以有两种方式(二选一即可), 第一种方式是自己读取出数据,然后写入到新的索引中; 第二种方式是利用re-index api来让内部帮我们完成这个过程, 下面分别列出两种写法.

第一种方式

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from elasticsearch import helpers
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 读取所有文档
s = es.search(
    index="web_system",
    doc_type="user",
    scroll="1m",
    body={
        "size": 10000,
        "query": {
            "match_all": {}
        }
    },
    filter_path=['hits.hits._*']
)

# 更新所有返回文档中的索引名称
for enum, i in enumerate(s["hits"]["hits"]):
    s["hits"]["hits"][enum]["_index"] = "web_system2"

# 将所有文档写入到新的索引中
b = helpers.bulk(
    client=es,
    actions=s["hits"]["hits"]
)

pprint(b)

第二种方式

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])
s = es.reindex(
    body={
        "source": {
            "index": "web_system"
        },
        "dest": {
            "index": "web_system2"
        }
    }
)

pprint(s)
最后切换别名
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 更新别名
s = es.indices.update_aliases(
    body={
        "actions": [
            {"remove": {"index": "web_system", "alias": "w_s"}},
            {"add": {"index": "web_system2", "alias": "w_s"}}
        ]
    }
)


# 删除老的索引
es.indices.delete(
    index="web_system"
)

pprint(s)
数据迁移后

在之前所有数据的查询,都是使用真是的索引名称,当我们做了索引迁移之后,删除了老的索引名称,只有能根据新的索引名称或者索引别名来查询数据了。
也就是说在项目一开始的时候就建议使用索引别名,这样贯穿全生命周期都不需要更改任何代码。
这里列出通过别名来查询数据.

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.search(
    index="w_s",
    doc_type="user",
    body={
        "query": {
            "match_all": {}
        }
    }
)

pprint(s["hits"]["hits"])

# 输出结果
[{'_id': '2',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '24',
              'description': 'he is very busy',
              'nickname': '木子IV',
              'username': '李四'},
  '_type': 'user'},
 {'_id': '1',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '23',
              'description': 'this gay is very lazy.',
              'nickname': '弓长III',
              'username': '张三'},
  '_type': 'user'},
 {'_id': '3',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '35',
              'description': 'the boss of our company',
              'nickname': '钻石V',
              'username': '王五'},
  '_type': 'user'}]

参考

本文转载自:http://www.jianshu.com/p/4c9e221ea66c

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
《SQL Server 2008从入门到精通》--20180723

目录 1.架构 1.1.创建架构并在架构中创建表 1.2.删除架构 1.3.修改表的架构 2.视图 2.1.新建视图 2.2.使用视图修改数据 2.3.删除视图 3.索引 3.1.聚集索引 3.2.非聚集索引 3.3.创建索引 3.4....

kukubear0
07/24
0
0
提升SQL Server速度 整理索引碎片

数据库表A有十万条记录,查询速度本来还可以,但导入一千条数据后,问题出现了。当选择的数据在原十万条记录之间时,速度还是挺快的;但当选择的数据在这一千条数据之间时,速度变得奇慢。 ...

SANSOM
2013/11/08
0
0
利用Python进行数据分析(六)之pandas基本功能

pandas的基本功能 重新索引 不存在的索引都用同一个值填充: 对于有序索引,range(6)或者['a','b','c','d','e','f']。 用前向值填充:method =‘ffill’或者method = 'pad' 前面没有则NaN 用...

BrainZou
2017/12/12
0
0
Python数据分析之pandas基本功能讲解

pandas的基本功能 重新索引 不存在的索引都用同一个值填充: obj.reindex(['a','b','c','d','e'],fill_value=0)out:a -5.3b 7.2C 3.6d 4.5e 0.0 如果没有fill_value则不存在的索引用NaN缺失值...

zou249014591的博客
2017/12/13
0
0
探讨ConcurrentHashMap与HashMap中reHash过程

ConcurrentHashmapreHash过程利用了元素产生索引只有两种要么为原索引,要么为原基础+2^(K+1)的巧妙特性,能够将同一个桶中的最后一个或者几个相同索引的元素的引用直接指向新桶中的特定索引...

春秋苣
2016/11/02
385
1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

c语言之内存分配笔记

先看一个数组: short array[5] = {1,2} // 这儿定义的一个int类型的数组,数组第1和第2个元素值是1和2.其余后面默认会给值为0; 或者 short array[] = {1,2};//这儿数组第1和第2个元素,数组...

DannyCoder
今天
2
0
Shell | linux安装包不用选择Y/N的方法

apt-get install -y packageOR echo "y" | sudo apt-get install package

云迹
今天
2
0
Hadoop的大数据生态圈

基于Hadoop的大数据的产品圈 大数据产品的一句话概括 Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架...

zimingforever
今天
5
0
八大包装类型的equals方法

先看其中一个源码 结论:八大包装类型的equals方法都是先判断类型是否相同,不相同则是false,相同则判断值是否相等 注意:包装类型不能直接用==来等值比较,否则编译报错,但是数值的基本类型...

xuklc
今天
2
0
NoSQL , Memcached介绍

什么是NoSQL 非关系型数据库就是NoSQL,关系型数据库代表MySQL 对于关系型数据库来说,是需要把数据存储到库、表、行、字段里,查询的时候根据条件一行一行地去匹配,当量非常大的时候就很耗...

TaoXu
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部