文档章节

Elasticsearch05重新索引

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:17
字数 1177
阅读 1
收藏 0

ElasticSearch允许我们对一个索引进行字段的新增, 但是不允许我们更改字段的类型或删除一个字段,因为这里面涉及到原有字段在创建的时候已经内部落实了倒排索引等工作,变更原有字段或删除已有字段会导致搜索不能正常工作。

下面依次按照我操作的思路和方法落实:

  • 创建一个索引(仅含映射, 不含文档)
  • 写入一些数据(文档)
  • 增加一个字段(property)
  • 修改一个字段的辅助属性(例如date的format)
  • 修改或删除一个字段(这里有说明没办法做这个事情)
  • 通过重新索引来达到我们对已有字段变更的目的(re-index)

创建一个索引(仅含映射, 不含文档)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.create(
    index="web_system",
    body={
        "mappings": {
            "user": {
                "properties": {
                    "nickname": {
                        "type": "string"
                    },
                    "username": {
                        "type": "string"  
                    },
                    "join_date":  {
                        "type": "date",
                        "format": "strict_date_hour_minute_second_millis"
                    },
                    "description": {
                        "type": "string",
                        "analyzer": "english"
                    }                    
                }
            }
        }
    }
)

pprint(s) 

写入一些数据(文档)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 单条写入
s = es.index(
    index="web_system",
    doc_type="user",
    id="1",
    body={
        "username": "张三",
        "nickname": "弓长III"
    }
)
pprint(s)

# 多条写入(批量)
s = es.bulk(
    index="web_system",
    doc_type="user",
    body=[
        {"create": {"_id": 2}},
        {"username": "李四", "nickname": "木子IV"},
        {"create": {"_id": 3}},
        {"username": "王五", "nickname": "钻石V"}
    ]
)

pprint(s)

增加一个字段(property)

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.put_mapping(
    index="web_system",
    doc_type="user",
    body={
        "properties": {
            "age": {
                "type": "integer",
            }
        }
    }
)

pprint(s)

修改一个字段的辅助属性(例如date的format)

# -.- coding:utf-8 -.-
# 内置日期格式, 请参考这里:
# https://www.elastic.co/guide/en/elasticsearch
# /reference/current/mapping-date-format.html#built-in-date-formats
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.put_mapping(
    index="web_system",
    doc_type="user",
    body={
        "properties": {
            "date_join": {
                "type": "date",
                "format": "yyyy-MM-dd",
            },
        }
    }
)

pprint(s)

查看现在的索引信息

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.get_mapping(
    index="web_system",
    doc_type="user"
)

pprint(s)

# 输出结果
{'web_system': {
    'mappings': {
        'user': {
            'properties': {
                'age': {'type': 'string'},
                'description': {'analyzer': 'english', 'type': 'string'},
                'join_date': {'format': 'strict_date_hour_minute_second_millis', 'type': 'date'},
                'nickname': {'type': 'string'},
                'username': {'type': 'string'}
            }
        }
    }
}}

 
 

重新索引(re-index)

先建立一个别名
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

es.indices.put_alias(
    index="web_system",
    name="w_s",
)
然后再建立一个新的索引结构
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.indices.create(
    index="web_system2",        # 这里定义个新的索引名称
    body={
        "mappings": {
            "user": {
                "properties": {
                    # 将age字段的string类型值更改为integer类型
                    "age": {"type": "integer"},
                    # 这里定义一个新的分析器
                    "description": {"type": "string", "analyzer": "standard"},
                    "join_date": {"format": "strict_date_hour_minute_second_millis", "type": "date"},
                    # 这里声明该字段是一个精确值, 而不是一个分析器
                    "nickname": {"type": "string", "index": "not_analyzed"},
                    # 这里声明该字段是一个精确值, 而不是一个分析器                    
                    "username": {"type": "string", "index": "not_analyzed"}
                }
            }
        }
    }
)

pprint(s)
然后开始迁移数据

数据迁移可以有两种方式(二选一即可), 第一种方式是自己读取出数据,然后写入到新的索引中; 第二种方式是利用re-index api来让内部帮我们完成这个过程, 下面分别列出两种写法.

第一种方式

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from elasticsearch import helpers
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 读取所有文档
s = es.search(
    index="web_system",
    doc_type="user",
    scroll="1m",
    body={
        "size": 10000,
        "query": {
            "match_all": {}
        }
    },
    filter_path=['hits.hits._*']
)

# 更新所有返回文档中的索引名称
for enum, i in enumerate(s["hits"]["hits"]):
    s["hits"]["hits"][enum]["_index"] = "web_system2"

# 将所有文档写入到新的索引中
b = helpers.bulk(
    client=es,
    actions=s["hits"]["hits"]
)

pprint(b)

第二种方式

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])
s = es.reindex(
    body={
        "source": {
            "index": "web_system"
        },
        "dest": {
            "index": "web_system2"
        }
    }
)

pprint(s)
最后切换别名
# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

# 更新别名
s = es.indices.update_aliases(
    body={
        "actions": [
            {"remove": {"index": "web_system", "alias": "w_s"}},
            {"add": {"index": "web_system2", "alias": "w_s"}}
        ]
    }
)


# 删除老的索引
es.indices.delete(
    index="web_system"
)

pprint(s)
数据迁移后

在之前所有数据的查询,都是使用真是的索引名称,当我们做了索引迁移之后,删除了老的索引名称,只有能根据新的索引名称或者索引别名来查询数据了。
也就是说在项目一开始的时候就建议使用索引别名,这样贯穿全生命周期都不需要更改任何代码。
这里列出通过别名来查询数据.

# -.- coding:utf-8 -.-
from elasticsearch import Elasticsearch
from pprint import pprint

es = Elasticsearch(hosts=["192.168.1.132"])

s = es.search(
    index="w_s",
    doc_type="user",
    body={
        "query": {
            "match_all": {}
        }
    }
)

pprint(s["hits"]["hits"])

# 输出结果
[{'_id': '2',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '24',
              'description': 'he is very busy',
              'nickname': '木子IV',
              'username': '李四'},
  '_type': 'user'},
 {'_id': '1',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '23',
              'description': 'this gay is very lazy.',
              'nickname': '弓长III',
              'username': '张三'},
  '_type': 'user'},
 {'_id': '3',
  '_index': 'web_system2',
  '_score': 1.0,
  '_source': {'age': '35',
              'description': 'the boss of our company',
              'nickname': '钻石V',
              'username': '王五'},
  '_type': 'user'}]

参考

本文转载自:http://www.jianshu.com/p/4c9e221ea66c

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
《SQL Server 2008从入门到精通》--20180723

目录 1.架构 1.1.创建架构并在架构中创建表 1.2.删除架构 1.3.修改表的架构 2.视图 2.1.新建视图 2.2.使用视图修改数据 2.3.删除视图 3.索引 3.1.聚集索引 3.2.非聚集索引 3.3.创建索引 3.4....

kukubear0
07/24
0
0
提升SQL Server速度 整理索引碎片

数据库表A有十万条记录,查询速度本来还可以,但导入一千条数据后,问题出现了。当选择的数据在原十万条记录之间时,速度还是挺快的;但当选择的数据在这一千条数据之间时,速度变得奇慢。 ...

SANSOM
2013/11/08
0
0
利用Python进行数据分析(六)之pandas基本功能

pandas的基本功能 重新索引 不存在的索引都用同一个值填充: 对于有序索引,range(6)或者['a','b','c','d','e','f']。 用前向值填充:method =‘ffill’或者method = 'pad' 前面没有则NaN 用...

BrainZou
2017/12/12
0
0
Python数据分析之pandas基本功能讲解

pandas的基本功能 重新索引 不存在的索引都用同一个值填充: obj.reindex(['a','b','c','d','e'],fill_value=0)out:a -5.3b 7.2C 3.6d 4.5e 0.0 如果没有fill_value则不存在的索引用NaN缺失值...

zou249014591的博客
2017/12/13
0
0
探讨ConcurrentHashMap与HashMap中reHash过程

ConcurrentHashmapreHash过程利用了元素产生索引只有两种要么为原索引,要么为原基础+2^(K+1)的巧妙特性,能够将同一个桶中的最后一个或者几个相同索引的元素的引用直接指向新桶中的特定索引...

春秋苣
2016/11/02
385
1

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot 入门 - 进阶篇(4)- REST访问(RestTemplate)

经常需要发送一个GET/POST请求到其他系统(REST API),通过JDK自带的HttpURLConnection、Apache HttpClient、Netty 4、OkHTTP 2/3都可以实现。 HttpClient的使用:http://rensanning.iteye.c...

onedotdot
26分钟前
2
0
Wi-Fi也有版本号了!

据Solidot消息,行业组织 Wi-Fi 联盟宣布当前的版本 Wi-Fi 802.11ac 重命名为 Wi-Fi 5,而下一个版本 802.11ax 重命名为 Wi-Fi 6,之前的版本 802.11n 改名为 Wi-Fi 4。 Wi-Fi 标准之前使用单...

linux-tao
28分钟前
3
0
项目经验不丰富、技术不突出的程序员怎么打动面试官?

前言 相信不少的程序员都有过类似的困惑:如果我没有大型的项目经历,也不能靠技术征服面试官,那我要怎么才能给面试官留下一个好印象呢? 按照本人的面试经验来说,面试主要看几点:项目经验...

Mamba1
38分钟前
2
0
MyBatis 源码分析----MyBatis 整体架构概要说明

MyBatis整体架构 MyBatis的整体架构分为三层1:基础支持层,2:核心处理层,3:接口层 1:基础支持层: 1-1反射模块: 该模块对Java 原生的反射进行了良好的封装,提供了更加简洁易用的API ,...

西瓜1994
44分钟前
7
0
如何让 J2Cache 在多种编程语言环境中使用

现在的系统是越来越复杂了,不仅仅是功能复杂,系统结构也非常复杂,而且经常在一个系统里包含几种不同语言编写的子系统。例如用 JavaScript 做前端开发、用 Java/PHP 等等做后端,C/C++/Go ...

红薯
45分钟前
46
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部