文档章节

Elasticsearch05重新索引

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:17
字数 1177
阅读 1
收藏 0

ElasticSearch允许我们对一个索引进行字段的新增, 但是不允许我们更改字段的类型或删除一个字段,因为这里面涉及到原有字段在创建的时候已经内部落实了倒排索引等工作,变更原有字段或删除已有字段会导致搜索不能正常工作。

下面依次按照我操作的思路和方法落实:

  • 创建一个索引(仅含映射, 不含文档)
  • 写入一些数据(文档)
  • 增加一个字段(property)
  • 修改一个字段的辅助属性(例如date的format)
  • 修改或删除一个字段(这里有说明没办法做这个事情)
  • 通过重新索引来达到我们对已有字段变更的目的(re-index)

创建一个索引(仅含映射, 不含文档)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.create(
    index="web_system",
    body={
        "mappings": {
            "user": {
                "properties": {
                    "nickname": {
                        "type": "string"
                    },
                    "username": {
                        "type": "string"  
                    },
                    "join_date":  {
                        "type": "date",
                        "format": "strict_date_hour_minute_second_millis"
                    },
                    "description": {
                        "type": "string",
                        "analyzer": "english"
                    }                    
                }
            }
        }
    }
)

pprint(s) 

写入一些数据(文档)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 单条写入
s = es.index(
    index="web_system",
    doc_type="user",
    id="1",
    body={
        "username": "张三",
        "nickname": "弓长III"
    }
)
pprint(s)

# 多条写入(批量)
s = es.bulk(
    index="web_system",
    doc_type="user",
    body=[
        {"create": {"_id": 2}},
        {"username": "李四", "nickname": "木子IV"},
        {"create": {"_id": 3}},
        {"username": "王五", "nickname": "钻石V"}
    ]
)

pprint(s)

增加一个字段(property)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.put_mapping(
    index="web_system",
    doc_type="user",
    body={
        "properties": {
            "age": {
                "type": "integer",
            }
        }
    }
)

pprint(s)

修改一个字段的辅助属性(例如date的format)

# -.- coding:utf-8 -.-
# 内置日期格式, 请参考这里:
# https://www.elastic.co/guide/en/elasticsearch
# /reference/current/mapping-date-format.html#built-in-date-formats
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.put_mapping(
    index="web_system",
    doc_type="user",
    body={
        "properties": {
            "date_join": {
                "type": "date",
                "format": "yyyy-MM-dd",
            },
        }
    }
)

pprint(s)

查看现在的索引信息

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.get_mapping(
    index="web_system",
    doc_type="user"
)

pprint(s)

# 输出结果
{'web_system': {
    'mappings': {
        'user': {
            'properties': {
                'age': {'type': 'string'},
                'description': {'analyzer': 'english', 'type': 'string'},
                'join_date': {'format': 'strict_date_hour_minute_second_millis', 'type': 'date'},
                'nickname': {'type': 'string'},
                'username': {'type': 'string'}
            }
        }
    }
}}

 
 

重新索引(re-index)

先建立一个别名
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

es.indices.put_alias(
    index="web_system",
    name="w_s",
)
然后再建立一个新的索引结构
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.create(
    index="web_system2",        # 这里定义个新的索引名称
    body={
        "mappings": {
            "user": {
                "properties": {
                    # 将age字段的string类型值更改为integer类型
                    "age": {"type": "integer"},
                    # 这里定义一个新的分析器
                    "description": {"type": "string", "analyzer": "standard"},
                    "join_date": {"format": "strict_date_hour_minute_second_millis", "type": "date"},
                    # 这里声明该字段是一个精确值, 而不是一个分析器
                    "nickname": {"type": "string", "index": "not_analyzed"},
                    # 这里声明该字段是一个精确值, 而不是一个分析器                    
                    "username": {"type": "string", "index": "not_analyzed"}
                }
            }
        }
    }
)

pprint(s)
然后开始迁移数据

数据迁移可以有两种方式(二选一即可), 第一种方式是自己读取出数据,然后写入到新的索引中; 第二种方式是利用re-index api来让内部帮我们完成这个过程, 下面分别列出两种写法.

第一种方式

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from elasticsearch import helpers
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 读取所有文档
s = es.search(
    index="web_system",
    doc_type="user",
    scroll="1m",
    body={
        "size": 10000,
        "query": {
            "match_all": {}
        }
    },
    filter_path=['hits.hits._*']
)

# 更新所有返回文档中的索引名称
for enum, i in enumerate(s["hits"]["hits"]):
    s["hits"]["hits"][enum]["_index"] = "web_system2"

# 将所有文档写入到新的索引中
b = helpers.bulk(
    client=es,
    actions=s["hits"]["hits"]
)

pprint(b)

第二种方式

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])
s = es.reindex(
    body={
        "source": {
            "index": "web_system"
        },
        "dest": {
            "index": "web_system2"
        }
    }
)

pprint(s)
最后切换别名
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 更新别名
s = es.indices.update_aliases(
    body={
        "actions": [
            {"remove": {"index": "web_system", "alias": "w_s"}},
            {"add": {"index": "web_system2", "alias": "w_s"}}
        ]
    }
)


# 删除老的索引
es.indices.delete(
    index="web_system"
)

pprint(s)
数据迁移后

在之前所有数据的查询,都是使用真是的索引名称,当我们做了索引迁移之后,删除了老的索引名称,只有能根据新的索引名称或者索引别名来查询数据了。
也就是说在项目一开始的时候就建议使用索引别名,这样贯穿全生命周期都不需要更改任何代码。
这里列出通过别名来查询数据.

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.search(
    index="w_s",
    doc_type="user",
    body={
        "query": {
            "match_all": {}
        }
    }
)

pprint(s["hits"]["hits"])

# 输出结果
[{'_id': '2',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '24',
              'description': 'he is very busy',
              'nickname': '木子IV',
              'username': '李四'},
  '_type': 'user'},
 {'_id': '1',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '23',
              'description': 'this gay is very lazy.',
              'nickname': '弓长III',
              'username': '张三'},
  '_type': 'user'},
 {'_id': '3',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '35',
              'description': 'the boss of our company',
              'nickname': '钻石V',
              'username': '王五'},
  '_type': 'user'}]

参考

本文转载自:http://www.jianshu.com/p/4c9e221ea66c

共有 人打赏支持
AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
《SQL Server 2008从入门到精通》--20180723

目录 1.架构 1.1.创建架构并在架构中创建表 1.2.删除架构 1.3.修改表的架构 2.视图 2.1.新建视图 2.2.使用视图修改数据 2.3.删除视图 3.索引 3.1.聚集索引 3.2.非聚集索引 3.3.创建索引 3.4....

kukubear0
2018/07/24
0
0
利用Python进行数据分析(六)之pandas基本功能

pandas的基本功能 重新索引 不存在的索引都用同一个值填充: 对于有序索引,range(6)或者['a','b','c','d','e','f']。 用前向值填充:method =‘ffill’或者method = 'pad' 前面没有则NaN 用......

BrainZou
2017/12/12
0
0
提升SQL Server速度 整理索引碎片

数据库表A有十万条记录,查询速度本来还可以,但导入一千条数据后,问题出现了。当选择的数据在原十万条记录之间时,速度还是挺快的;但当选择的数据在这一千条数据之间时,速度变得奇慢。 ...

SANSOM
2013/11/08
0
0
Python数据分析之pandas基本功能讲解

pandas的基本功能 重新索引 不存在的索引都用同一个值填充: obj.reindex(['a','b','c','d','e'],fill_value=0)out:a -5.3b 7.2C 3.6d 4.5e 0.0 如果没有fill_value则不存在的索引用NaN缺失值......

zou249014591的博客
2017/12/13
0
0
探讨ConcurrentHashMap与HashMap中reHash过程

ConcurrentHashmapreHash过程利用了元素产生索引只有两种要么为原索引,要么为原基础+2^(K+1)的巧妙特性,能够将同一个桶中的最后一个或者几个相同索引的元素的引用直接指向新桶中的特定索引...

春秋苣
2016/11/02
417
1

没有更多内容

加载失败,请刷新页面

加载更多

jdk8-64

https://pan.baidu.com/s/1sunIF-dBeyDKjFEpuYFyTQ 密码:jhuj

默克鱼
25分钟前
2
0
CentOS 7 网络设置及静态IP配置

一、 CentOS 7 网络设置 使用 CentOS 7 NetInstall(最小安装盘)安装的CentOS默认是没有配置网络的,可以使用 ping 试一下,结果肯定是不能执行的,ping 指定ip不通是没有网络,ping域名不通是...

calmsnow
28分钟前
1
0
前端未来几年的路该怎么走?

在知乎上看到这么一个问题,觉得很有意思,以下是原提问者的见解 过去五年前端的发展过程基本上是一个工程化的过程,框架和工程化工具层出不穷。 近两年其实发展已经比较迟滞了。 框架方面:基...

前端攻城小牛
30分钟前
2
0
LIst的逆向遍历

public class list_demo { public static void main(String[] args) {// TODO Auto-generated method stub List list=new ArrayList<>(); list.add("a"); list.add("b");......

南桥北木
今天
3
0
MySQL插入性能优化

MySQL插入性能优化 标签: 博客 [TOC] 可以从如下几个方面优化MySQL的插入性能。 代码优化 values 多个 即拼接成一个insert values sql, 例如 INSERT INTO MyTable ( Column1, Column2, Co...

蒋先生66
今天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部